1939年8月，二战即将爆发。古德里安任费多尔·冯·博克辖下的第19装甲军军长（包含第3装甲师），9月1日，古德里安参加了波兰战役。第19装甲军作为德军北方集团军群的开路先锋，一路如入无人之境。在随后不到2个星期的时间里，古德里安和保罗·路德维希·埃瓦尔德·冯·克莱斯特的装甲军的高速前进，就使战术落后的波兰人陷入重围，德军步兵所起的作用就是俘虏包围圈里的敌军。在战役开始1个月零1天后，波兰战役结束，古德里安的第19装甲军，在整场战役中只阵亡150人，受伤700人

。

古德里安于此役中，首次实现了他装甲兵作战的战术理念，即在合适地形的战术方向上，以装甲集群作为火力，机动与防护三位一体的突击手段，集中于敌防线的某一点进行突破，成功后即向敌纵深迅猛发展，致敌无法重整集结，以再次构筑防线。在他的战争回忆录中，他不无骄傲地声称，他很有可能是人类战争史上第一位坐在装甲指挥车中利用无线电指挥部队，随同一线战斗部队一起冲过敌人防线的高级指挥官。

西线战场1940年5月，古德里安参加了法国战役，且再次成为攻击矛头－担任A集团军辖下的第19装甲军军长。在埃里希·冯·曼施坦因的建议下，希特勒赞同、采纳了这位时任A集团军参谋长的进攻计划。计划中德国人将主要攻势从右翼费多尔·冯·博克上将率领的以比利时北部列日地区为攻击目标的B集团军转移到了中央地区的A集团军手中。并以阿登山脉－这个被认为是机械化部队无法通过的地区为突破口。他的第19装甲军仅用两天时间便成功穿越了阿登山脉110千米长的峡谷地带。在战役中优异的表现也令古德里安重塑了以往被认为只会纸上谈兵的印象。他的进攻速度不仅令对手甚至连他的上级龙德施泰特和希特勒都胆战心惊：在强渡马斯河后，古德里安就不再将坦克当自行火炮使用，而是尽可能地发挥其高速特性向纵深地区运动，从色当直到滨海的阿布维尔、格拉夫林， 完成了一个举世震惊的巨大包围圈。这个包围圈把法国北部和比利时的所有盟军都装进了口袋。在行军期间古德里安的部队甚至没有时间俘虏敌军，而是通过扩音器大叫：‘我没有时间俘虏你们，你们要放下武器并且离开道路以免阻碍我们前进。’以此他创造了现代战争史上的最快的进攻速度，即在不到6天的时间里他的装甲军长驱直入400多千米横贯法国，将坦克开到了大西洋岸边。