5 Mart 1921 tarihinde Kayseri vilayetinin Akçakaya (Endürlük) köyünde hayata gözlerini açan Ahmet Gazi Ayhan, 9 Şubat 1987 tarihinde Hakk'ın rahmetine kavuşmuştur. Babasını üç yaşındayken kaybetmiştir. Kayseri türkülerini küçük yaşta, anneannesinden öğrenmiş, ilk sazını amcası hediye etmiştir.
1945 senesinde Ankara Radyosu Türk Halk Müziği Topluluğunda çalışmaya başlayan sanatçı, Kayseri türkülerini en iyi söyleyen isimdi. Saz sanatçısı olmasının yanısıra çalıp söylemedeki beceresi de etkileyicidir.
Türkiye'de ve yurt dışında birçok fuar ve festivallere katılım sağladı. 1951 senesinde Milli Oyun ve Türküler Festivalinde ödüle layık görüldü. Yine aynı sene 12. Milletlerarası Müsteşrikler Kongresinde birincilik ödülü aldı.
"Ahmet Gazi Ayhan - Arşiv", "Lambaya Püf De", "Yarim İstanbul'u Mesken Mi Tuttun", Ahmet Gazi Ayhan'ın albümleridir. Türk Halk Müziği'ne pek çok derlemeler sunmuştur.
Eşi Yıldız Ayhan'dı.
Ebedi istiratgahı Zincirlikuyu mezarlığındadır.