1939年波兰战役爆发后任第7军参谋长，此后长期担任参谋长，1942年1月名将瓦尔特·莫德尔接替阿道夫·斯特劳斯担任第9集团军军长，同年2月克雷布斯就被莫德尔钦点调至第9集团军担任参谋长职务，当时第9集团军的任务是在莫斯科外的热泽夫突出部构建防御阵地，在1942年2月到1943年3月，这期间，克雷布斯和莫德尔之间配合默契，在他俩的指挥下热泽夫突出部成为德国东线最稳固的防御阵地（没有之一），其中包括粉碎了由朱可夫指挥的火星行动，很明显的是莫德尔在热泽夫的成名很大程度上离不开克雷布斯的协助。 1943年3月第9军从热泽夫撤出之后，克雷布斯离开了第九集团军，被调至中央集团军，在恩斯特·布施元帅的手下担任参谋长职务，1944年8月在白俄罗斯战役中，布施的中央集团军遭到毁灭性打击。

经历了东线的失败之后，1944年8月，克雷布斯再次和莫德尔搭档，担任西线B集团军参谋长，莫德尔任B集团军司令，但此时B集团军面对的情况是盟军在诺曼底登陆之后的烂摊子，尽管如此B集团军还是在花园行动和突出部战役中有亮点闪过，虽然没有资料表明克雷布斯对这两次战役有多大贡献，但作为莫德尔的首席参谋长，克雷布斯确实还是在这一期间起到很重要作用的。 在经历过东西两线的洗礼之后，再加上莫德尔的大力提携，克雷布斯已经成为德国参谋部数一数二的重要人物，随着B集团军撤回德国本土之后，克雷布斯开始兼任参谋部的要职，于是1945年初克雷布斯担任了陆军副参谋长职务。

在莫德尔的B集团军覆灭之前，克雷布斯就已经回到了柏林。古德里安被免职之后，1945年4月1日克雷布斯作为副参谋长顺利成章的成为了陆军总参谋长，在随后的柏林战役中，克雷布斯参与了其中的指挥和作战，4月29日，作为目击者见证了希特勒的婚礼和自杀，5月1日作为谈判代表与崔可夫进行停战谈判，后来是和朱可夫的副手瓦西里·丹尼洛维奇·索科洛夫斯基大将谈判，他坚持要先停火，但苏军要求无条件投降，在返回汇报之后，最终选择自杀了结一生。