在1939年入侵波兰的战斗中，古德利安指挥第十九集团军，在不到两天的时间，便把波军打败，因此获得了一级铁十字勋章，和一枚骑士十字勋章。
在入侵法国时，古德利安充分发挥了闪电战的优势，他不断违反上级命令，带领他的部队和坦克尽可能的向前推进，大大超过预期的目标，不但破坏了法军的通信，还把法国参谋部的人员变为了战俘。当时，法国人认为德军会停在西部的迈斯河附近，没有得到命令前是不会行动的。
有些人认为，法军是败在德国坦克装备下的。其实，法军的残败并不完全是因为德军坦克装备的优势。事实上，在当时参战的德军坦克中，可以和法军的重型坦克对抗的只有装备了75毫米火炮的坦克，其他类型坦克均无法与法军坦克匹敌。
那么，为什么德军能击垮法军呢？首先，德军坦克装备了无线电通信设备，速度快，易于维护。更重要的是，德军坦克组建了独立的部队，作为一个整体行动，而不像法军把坦克配备给步兵部队。还有一点就是德军的坦克部队是在摩托化作战理论的创立者古德利安的亲自指挥下行动的。可以说，当古德利安的装甲集群推进到英吉利海峡时，他已经深深地插入到法国，马其诺防线已形同虚没。从那时起，古德利安的装甲部队的每一辆坦克、汽车或摩托车上都涂上了“G”的标志。
在入侵苏联前，古德利安被晋升为上将，担任第二坦克集群的司令官，后又担任第二坦克集团军司令官。这时，他离元帅只有一步之差了。在入侵苏联的第一阶段，他获得了包括骑士勋章在内的多次嘉奖。但是，他的上司冯·克鲁格元帅总是试图停止推进，而他一直勇往直前；再加上他多次违抗希特勒的命令，从危险之中撤回部队，在多种矛盾的激化下，古德利安被解除了一切军中职务。
1943年2月，斯大林格勒战役后，古德利安被重新招回，再次负责装甲部队，他亲自领导了坦克的改进，他频繁来往于工厂和靶场之间。几年的闲居，古德利安变得更加圆滑，他很快同部长们建立起了良好的关系，就这样迅速提高了坦克的月产量，使军队的现代化建设大步迈进。
1944年7月，发生暗杀希特勒的事件后，古德利安被任命为总参谋长。他只是一个毫无实权的傀儡，因为希特勒习惯于亲自发号施令。1945年，古德利安在战略，战术上，同希特勒发生了激烈的争吵。不久，即同年3月，他再次被解职。
1945年5月，古德利安向美军投降，成为战犯。他被送往纽伦堡，但没有对他进行审判。苏联想起诉他的战争罪行，但西方盟军没有接受。1948年，古德利安被囚禁转移到荷兰。几年后获释，他出版了他的回忆录和一些其他著作及文章。1954年5月14日，古德利安死于西德。