1951 yılında Samsun'da doğdu. İlk, orta ve lise öğrenimini Samsun'da tamamladıktan sonra, İstanbul Devlet Mimarlık ve Mühendislik Akademisi'ni bitirdi.1975 yılında Karayolları 7. Bölge Müdürlüğü'nde Şantiye Makina Mühendisi olarak göreve başladı.
1978-1980 yılları arasında Diyarbakır'da askerlik görevini tamamladıktan sonra tekrar Karayolları 7. Bölge Müdürlüğü'nde Makina İşletme Mühendisi olarak çalışmaya devam etti. 1983 yılında Ankara Karayolları 4. Bölge Müdürlüğü'ne Makina İkmal Baş Mühendisi olarak atandı. 1987 yılında Karayolları Genel Müdürlüğü İkmal Şube Müdürlüğüne getirildi.
1990 yılında Van Karayolları 11. Bölge Müdürlüğü'ne atanan Yusuf Ziya YILMAZ, 1992 yılında Samsun Karayolları 7. Bölge Müdürlüğü'ne getirildi. 6 yıl Samsun'da Karayolları 7. Bölge Müdürlüğü görevi yaptıktan sonra, 1998'de İstanbul Karayolları 17. Bölge Müdürlüğü'ne atandı.
1999 yılında Samsun'a hizmet için 23 yıllık görevinden ayrılarak, ilk kez 18 Nisan 1999 yerel seçimlerinde Büyükşehir Belediye Başkanı seçilen Yılmaz,28 Mart 2004 yerel seçimlerinde ikinci, 29 Mart 2009 yerel seçimlerinde de üçüncü kez Büyükşehir Belediyesi Başkanlığına seçilmiştir.
