Aslen Balkan kökenli olup 1956 yılında Kırklareli'nin Eriklice köyünde doğdu. Babasının katkılarıyla müzikle uğraşı küçük yaşlarda başladı. Çeşitli derneklerde korist ve solist olarak çalıştı. Muzaffer Baktagir ve Aşkiye Çal gibi hocalardan nota ve usül dersleri aldı. İlk türküsünü babasından derledi: "Haydi Bre Yusuf, Kare Yusuf".
Daha sonra Balkan ve Rumeli türkülerini araştırmak üzere, Trakya'da ve Balkanlar'da derleme çalışmaları yaptı ve yüzün üzerinde türkü derledi. Faruk Yılmaz özellikle Bulgaristan'da Burgas, Ruen, Deli Orman ve Kırcaali Rodop'lardan bir çok türkü derledi.
TRT Televizyonlarında, İstanbul, İzmir ve Ankara Radyolarında programlar yaptı. Bulgaristan Sofya Devlet Radyosu Türkçe Yayınlar Bölümünde "Yollar Köyden de Geçer" adlı türkü programına katılarak türkülerinden örnekler sundu.
Askerlik görevini 1977 yılında İzmir'de yaptı.
1987 yılında Özgür Plak firmasıyla "Kız Müşerref", 1996 yılında on iki türküden oluşan "Balkan ve Rumeli türküleri (1)", 2005 yılında "Güldaniyem" isimli albüm çalışmalarını yaptı. 2009 yılında iki adet otuz iki türküden oluşan albümlerini yayınladı. Rumeli TV'de "Türkülerde Rumeli" adlı canlı bir müzik programı yaptı. Tek Rumeli adlı televizyon kanalında "Türkülerle Rumeli" adlı müzik programını haftalık canlı olarak hazırlayıp sundu. Bulgaristan'da çeşitli bölgelerde bir çok konserler verdi. THM Repertuvarına kaynak kişi olarak, "A bre Sülüman Ağa", "Annem de beni nenni dedi salladı", "Arzum dağlarda gezersin", "Haydi bre Yusuf kara Yusuf", "Mavrova'dan aldım bir okka nohut" ve "Varın bakın benim bacam tüter mi" adlı türküleri kazandırdı.
Faruk Yılmaz, evli ve bir kız çocuk sahibidir. Halen İstanbul'da yaşamını sürdürmektedir.