김 전 장관은 1958년 1월21일 경상북도 상주에서 태어났다. 그는 대구초등학교, 대구중학교, 경북고등학교를 거쳐 서울대학교 정치학과를 졸업했다. 연세대학교 행정대학원에서는 행정학 석사학위를 받았다.
재야 운동권 출신의 그는 1988년 한겨레민주당 창당에 참여하며 정계에 입문했다. 이후 1991년 3당 합당에 반대해 남은 '꼬마 민주당'에 입당한 뒤 2000년 한나라당 소속으로 금배지를 달았다. 하지만 2003년 한나라당을 탈당해 열린우리당 창당에 참여했다.
이후 김 전 장관은 20대 총선에서 대구에서 민주당 후보로 당선되는 파란을 일으켰다. 지역주의 타파의 상징으로 대변된 그는 문재인 정부가 출범하면서 초대 행안부 장관에도 올랐다. 이후 4선(16·17·18·20대) 의원으로 지난해 8월 열린 전당대회에 당권 주자로 출사표를 던지기도 했으나, 이낙연 후보에 밀려 낙선했다.
청와대는 김 전 장관을 지명한 배경에 대해 "정치와 사회 현장에서 공정·상생의 리더십을 실천한 4선 의원 출신의 통합형 정치인으로 지역 구도 극복·사회개혁·국민화합을 위해 헌신했다"며 "행안부 장관으로서 각종 재난 사고로부터 국민의 안전을 확보하기 위해 노력해 국민으로부터 폭넓은 지지와 신뢰도 받았다"고 설명했다.
또한 "국정운영 풍부한 식견과 정무 감각, 소통능력, 대화 타협 중시하는 온화한 성품 가진 분으로 코로나19를 극복하고 경제회복과 민생안정 등을 해결할 적임자"라면서 "모든 부처를 아우르는 노련한 국정 통해 일상 되찾고 경제 회복하며 격차 줄이는 사회 만들기에 혼신할 것으로 기대한다"고 덧붙였다.