乔布·科恩1967年加入荷兰工党，在党内担任多个行政职位。2003年成为该党竞选首相的候选人，但因微弱差距败选。

1993年，科恩成为荷兰前首相吕德·吕贝尔斯第三任内阁的教育副部长。1998年开始担任荷兰司法副部长。

2001年1月，科恩当选为阿姆斯特丹市市长。2006年7月，阿姆斯特丹市政府几乎毫无异议地一致赞成科恩继续担任市长。

2006年，世界市长组织授予科恩世界市长大奖的亚军头衔，表彰他在提奥·凡·高被刺案后的领导能力，以及把阿姆斯特丹多元化市民团结在一起的努力 。