1959 yılında Of’un Yazlık Köyünde doğan Yılmaz Küçük, İlkokulu köyünde, ortaokul ve liseyi Konya ve Trabzon İmam Hatip Lisesinde okudu.
1977 yılında Sürmene Çamburnu Köyü Kuşluca Mahallesi Camii İmam Hatibi olarak göreve başladı. 1979 yılında İstanbul Fatih Müftülüğüne bağlı Kocamustafapaşa İskender Çelebi Camii Müezzin Kayyımı olarak atandı. 1980 yılında eğitime başladığı İstanbul Yüksek İslam Okulundan 1984 yılında mezun oldu. Vatani görevinin ardından 1988 yılında T.C. Düsseldorf Din Hizmetleri Ataşeliği görev bölgesi Hilden Yunus Emre Camiinde Din Görevlisi olarak göreve başladı.1994 yılı Nisan ayında yurda dönen Küçük Kocamustafapaşa Cambaziye Camiinde İmam hatiplik görevine başladı.
1998 yılında açılan Müftülük sınavını kazanarak Van İli Çaldıran İlçesine Müftü olarak atanan Küçük, 2000 yılında Trabzon Tonya İlçe Müftüsü olarak atandı. 2004 yılında 2. yurt dışı görevi olarak Münih Merkez Camiine naklen atanan Müftü Küçük, 2008 yılında yurda döndü ve Kastamonu İli Araç İlçe Müftüsü olarak atandı. 2012 yılında Karamürsel Müftülüğüne atanan ve daha sonra 2017 şubat ayında ise İstanbul İl Müftü yardımcılığı 15.05.2017 tarihinde de Bayrampaşa İlçe Müftülüğüne atandı. 02.09.2022 tarihinde Trabzon il Müftü yardımcılığı görevine başlayan KÜÇÜK, evli ve üç çocuk babasıdır. Müftü Küçük, Arapça ve Almanca bilmektedir.
