1329'da Kıbrıscık, Karacaören köyünde doğdu. Küçük yaşlarda çobanlık yaptı. Fakirlikten okuyamadı, başkalarının yanında çobanlığa devam etti. Okuma yazmayı daha sonra öğrendi. 1935 yılında askere gitti. Askerden dönüşünde göçmen olarak gitti. Dilli kavalı kendi kendine, koyun otlatırken öğrendi.
Askerliğe Çanakkale'de devam etti. Evlendikten sonra üç oğlu oldu. Çobanlığı bıraktıktan sonra Ankara'ya giderek işçilik yaptı. Daha sonra usta oldu. Kaval çalarken yapımını da öğrenen Yılmaz senede sekiz, on kaval yaparak yaşamını sürdürdü. Yaptığı kavala kırma kaval demiştir. Kırma kaval demesi üç parçadan oluşmasından kaynaklanmıştır. Kıbrıscık'ta tek parça kaval kullanılmamaktadır.
Düğünlerde de kavalını çalarak, eğlencelerde bulundu.