04.05.1962 tarihinde Manisa İli Turgutlu İlçesinde doğdu. 30.09.1985 tarihinde İstanbul Üniversitesi Hukuk Fakültesinden mezun oldu. 27.11.1986 tarihinde İstanbul Barosunda Avukatlık Stajını tamamladı. 29.05.1986 tarihinde Uşak Kaymakam Adayı olarak atandı ve 74. Dönem Kaymakam Adaylarının asalet tasdikini müteakip bilgilerini artırmak ve uygulamalarını yerinde görmek üzere 3 yıllık staj döneminin 1 yılını İngiltere de geçirdi.
10.08.1989 ile 21.08.1990 tarihleri arasında Kastamonu-Azdavay Kaymakamlığı, 04.09.1990 ile 17.08.1992 tarihleri arasında Muş-Varto Kaymakamlığı, 25.09.1992 ile 17.08.1994 tarihleri arasında Bitlis Vali Yardımcılığı, 31.08.1994 ile 18.08.1998 tarihleri arasında Uşak-Karahallı Kaymakamlığı, 01.09.1998 ile 17.10.2000 tarihleri arasında Kilis Vali Yardımcılığı, 31.10.2000 ile 17.10.2001 tarihleri arasında Van Vali Yardımcılığı, 30.10.2001 ile 28.09.2004 tarihleri arasında Çanakkale Vali Yardımcılığı, 12.10.2004 ile 02.09.2005 tarihleri arasında Hukuk Müşavirliği, 02.09.2005 ile 03.10.2005 tarihleri arasında Mahalli İdareler Genel Müdürlüğü Daire Başkanlığı, 03.10.2005 ile 05.08.2008 tarihleri arasında Personel Genel Müdürlüğü Daire Başkanlığı görevlerinde bulundu.
05.08.2008 tarihinde Personel Genel Müdürlüğü Genel Müdür Yardımcılığı görevine başladı. Evli ve iki çocuk babası olan Yılmaz, İçişleri Bakanlığının 28/8/2009 tarihli ve 14390 sayılı yazısı üzerine, 5442 sayılı İl İdaresi Kanununun 6 ncı maddesi ile 23/4/1981 tarihli ve 2451 sayılı Kanunun 2 nci maddesine göre, Bakanlar Kurulunca 29/8/2009 tarihinde İçişleri Bakanlığı Personel Genel Müdür yardımcılığı görevinde bulunan Şerif Yılmaz ilimize Vali olarak atandı.
