Sivas için "aşığın harman olduğu yer" derler. Türk Halk Edebiyatının birçok ölümsüz ismi gibi, günümüzde de ünlü olan birçok aşığın doğup büyüdükleri yer Sivas il sınırları içindedir.
Aşık Gülhani, toprakları üzerinde nice aşığın doğup, yaşayıp, öldüğü Sivas'ın Gürün ilçesine bağlı Şeref köyünde 1940 yılında doğmuştur.
Asıl adı "Mehmet", soyadı "Kargı" olan Aşık Gülhani'nin babası Şeref köyü eşrafından Velioğlu Halil, anası yine eşraftan Mehmet Efendi'nin kızı Ümmü Hanım'dır.
İlkokulu köyünde, Ortaokulu Gürün’de bitirdikten sonra, Emniyet Teşkilatında görev almıştır. Evli olan Gülhani'nin üç kızı, iki oğlu vardır.
Aşık Gülhani aşıklık hayatı ile ilgili soruyu şöyle anlatıyor:
"Küçük yaşımdan beri şiire ve aşıklara karşı bir sevgi duymaktaydım. Bu sevgi zamanla, içimi yakan bir köz oldu. Dış görünüşüm itibariyle sakin bir halim vardır. Ama, içimde esen aşk rüzgarının sevgi denizinden koparmış olduğu dalganın büyüklüğünü ben bilirim. Gün geldi gönül bendine sığmaz oldu, köy köy gezerek, aşıklar ile tanıştım."
Evet, tanıştığı aşıkların hemen hepsinden bir parça ilham alan Aşık Gülhani, ortaokul sıralarında şiir yazmaya başlamıştır.
Aşıklık yönünde hiçbir kimseden ders almadığını söyleyen Gülhani manevi yönden Kangallı Aşık Emsali’ye bağlanmış ve onu manevi usta edinmiştir.
Aşık Gülhani 1973 yılında Konya Aşıklar Bayramı'na, 1974 yılında da Uluslararası II. İstanbul Festivali sırasında düzenlenen Aşıklar Şölenine katıldı. Bugüne değin yazdığı şiirlerden bir kısmını 1973 yılında Perişan Hallerim adlı kitapta toplamıştır.
Halk edebiyatı ile ilgili yazıları takip eden ve hemen bütün halk ozanları hakkında bilgi sahibi olan Gülhani, günümüzde Sivaslı halk ozanlarının en güçlülerinden biridir.