Cevdet Yılmaz, 1 Nisan 1967'de Bingöl'de doğdu. Orta Doğu Teknik Üniversitesi Kamu Yönetimi Bölümü'nü birincilikle bitirdi. Yüksek lisansını ABD Denver Üniversitesi uluslararası ilişkilerde; doktorasını Bilkent Üniversitesi siyaset bilimi ve kamu yönetiminde tamamladı. 23. Dönem Bingöl Milletvekili. 23. Dönem'de Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolar arası Birlik (PAB) Türk Grubu Başkanı oldu. Bu görevi esnasında, 60. Hükümet'te Devlet Bakanlığı görevine atandı.