İlçemizde İlköğrenimini bitirdikten sonra İstanbul İmam Hatip Lisesini bitirerek yüksek öğrenimini İstanbul Edebiyat Fakültesinde tamamlamıştır.  Belediye Başkanı Mehmet Rûh, Yılmaz 1977 yılında ilk görev yeri olan Kocaeli-Gebze Denizli Köyü Cami İmam Hatibi olarak görev yaptıktan sonra 1983 yılında Ordu Aybastı İmam Hatip Lisesinde Edebiyat öğretmeni olarak görev yapmış ve askerlik dönüşünde Dursunbey İmam Hatip Lisesinde Edebiyat öğretmenliği ve Müdür Yardımcılığı görevini yürütmüştür.

1995 yılında Milletvekilliği adaylığından sonra yine Dursunbey'de öğretmenlik görevini yürütmekteyken 1997 yılında Balıkesir Vakıflar Bölge Müdürü olarak göreve başlamış ve daha sonra 1998 yılında Türkiye Büyük Millet Meclisinde danışman olarak görev yapmıştır.

1999 yılında yapılan Yerel Seçimlerde Dursunbey Belediye Başkanı seçilerek halen bu görevi yapmaktadır.