金秉准1954年出生于韩国京畿道水原市，1976年毕业于韩国岭南大学政治和外交学专业，1979年硕士毕业于韩国外国语大学政治学专业，1984年毕业于美国特拉华州立大学，获政治学博士学位。

回国后，金任职于江原大学。1986年，转任韩国国民大学教授至今。1998年开始从政，2002年12月，出任当选总统卢武铉影子内阁的政治秘书。2006年7月，出任韩国副总理兼教育部长。

2016年11月2日，朴槿惠提名金秉准为新总理人选，此举遭到国会在野党强烈反对。11月8日，朴槿惠撤回了对金秉准的总理提名。