1931年2月1日，在老上级奥斯瓦尔德·卢茨上校（时任运输兵总监部参谋长）的举荐下，古德里安出任第3步兵师第3摩托化营营长，晋升中校军衔。

十年前，当古德里安刚调入运输兵总监部担任参谋时，曾在卢茨的摩托化营短期见习，二人结下友谊，卢茨后来也多次为古德里安提供帮助。

此时古德里安已经确立了装甲兵的发展方向。即单独使用坦克或是与步兵协同作战（以步兵为主）都无法发挥坦克的真正价值。坦克必须得到其他支援兵器的配合，且以坦克为核心，一切支援兵器要具备坦克一样的机动性才能形成最大的战斗力。

古德里安确定了装甲兵的定位，也就搞清楚了自己的努力方向，并且在日后坚定不移地付诸实践。

第3摩托化营下辖4个连，经过一番东拼西凑的补充，古德里安配齐了全营装备。第1连装备的是装甲搜索车、第2连装备的是坦克模型、第3连被改编为战防炮连、第4连使用的则是摩托车。

装备“到齐”后，古德里安就开始率领全营进行各种野外演习，虽然一个装甲搜索营的小天地是不能满足古德里安指挥欲望的，但是他还是非常的愉快。不管怎么说，现在终于有人全力支持他进行新作战理论的探索了，他也有了自主的机会进行实践演练。更令古德里安满意的是，所有的官兵对于他们的新任务都感到十分的热心，这些人对于在十万陆军中担任单调的供应勤务早就腻烦了，后勤供应部队在尚武传统的德国并不被人们认为是真正的军人。

支持和反对古德里安的人同时存在，时任运输兵总监纳兹美上校就反对他的“胡思乱想”，并公开对他说：“所谓装甲师简直是个乌托邦式的幻想，不切实际。”

支持古德里安的除了卢茨上校之外，还包括时任第3师师长斯图斯朗格。每当第3师举行演习时，他都会安排第3营派出部队参加，并对古德里安取得的成绩表示肯定。

其实斯图斯朗格内心也不希望组建装甲部队，只不过他反对的原因并非看不到装甲兵的前景，而是以自己的经历认识到它会给德国带来的不幸。当斯图斯朗格离开第3师时，他对古德里安说了一句意味深长的话：“你太性急了。请相信我的话，在我们这一生当中，都不要希望能够看到德国的坦克会出现在战场上。”

古德里安理解不了老将军的话，作为一名尚武的德意志军人，他考虑问题的出发点仅仅是军事角度，只要看清了装甲兵的光辉前景，就足以支撑他全力以赴。

1931年10月，古德里安改任运输兵总监部参谋长，他的顶头上司换成了一直支持他的卢茨上校。

古德里安上任后最迫切的愿望就是把摩托化部队从支援部队改为战斗部队。他四处游说，换来的往往是冷嘲热讽。尤其是那些反对或者质疑他的人看到用帆布和铁皮制成的坦克模型时，会忍不住用手中的笔或者刀子戳几下，然后嘲笑古德里安“这就是你口中大吹大擂的新武器”。

古德里安没有灰心，决定转变一下思路。一天，他找到骑兵总监部总监黑尔希堡将军，提出了一个焕发老将军激情的问题——“在未来作战中，骑兵是准备担任其他部队的搜索兵力，还是计划组成重骑兵单独作战？”

古德里安的问题立即激起了老将军的斗志，他非常自信地表示：“我们的目的就是要重建重骑兵部队，至于战略搜索的工作，我们愿意把它转让给摩托化部队。”

古德里安继续使出“小动作”，他建议为每个步兵师配备一个摩托化的战防炮营，用以对付敌人的坦克进攻。古德里安的意图可谓用心良苦，既然不允许成立独立的装甲部队，那就先培养日后构成装甲部队的作战单元，以待时机成熟时将他们整合到一起。

然而好景不长，新任骑兵总监克罗亨豪尔就看穿了古德里安的“诡计”。重建重骑兵谈何容易，德国防卫军目前仅剩的三个骑兵师最重要的任务是战时担任搜索任务，现如今竟轻而易举地让给了摩托化运输兵。假以时日，恐怕重骑兵没有建成，骑兵赖以生存的价值也被剥夺了。

既然骑兵已经交出了战场搜索的任务就不好直接索要回来，于是克罗亨豪尔想到了另一个办法——把大批骑兵军官调入摩托化运输兵作战单位，他希望能通过这种方式把古德里安挤垮。

于是，骑兵和摩托化运输兵在“貌合神离”中走到了一起。克罗亨豪尔的“无心插柳”反倒成就了一段奇缘。

在通过各种方式组建装甲部队的同时，古德里安还亲自参与了德国坦克的设计和制造。

根据《凡尔赛条约》的规定，德国不可以生产、制造和装备包括坦克在内的进攻性武器。1926年，英法对这项限制有所放宽，允许德国人设计制造，但必须在英法的试验场测试、检验。

不久之后德国兵工署联系了包括莱茵金属、克虏伯、MAN（曼恩）和戴姆勒·奔驰公司，邀请他们设计中型坦克和轻型坦克。当时负责监造的军官是佩莱上尉，他提出的指标包括：中型坦克上配备75毫米火炮、轻型坦克配备37毫米火炮；坦克的最高速度达到20公里每小时等等。

样车很快就制作出来，共2种中型坦克和3种轻型坦克，每款样车生产了两辆样车，总共10辆。古德里安首先肯定了佩莱的工作，对坦克引擎良好的工作效率和机炮优异的性能表示满意，不过他也指出了这些坦克“车内空间太小、后方和两侧视线受阻”等不足。对于轻型坦克搭载的火炮，古德里安坚持更换成50毫米口径，他认为未来战争中敌人的坦克普遍会采用较厚的装甲，大口径火炮的优势会很明显。

对于中型坦克的主要指标，古德里安根据德国国内道路和桥梁的承载能力，要求这种坦克的重量不应超过24吨，最高速度应提高到40公里每小时。

中型坦克应配备5名乘员——车长、炮手、弹药手、驾驶员和无线电员。驾驶员和无线电员的位置在车身底部，其他三人坐在炮塔里，以便观察周围情况。坦克内部使用喉头送话器联络，坦克之间则使用无线电保持通信。

古德里安提出的一系列要求都非常具有前瞻性，可惜的是德国军工企业短期根本制造不出这样的坦克。无奈之下，卢茨和古德里安决定从英国采购了一批卡登·洛伊德坦克，并在它的基础上仿制了两种轻型坦克。其中被命名为“1号”的坦克甚至没有安装火炮，仅配备了2挺7.92毫米机枪，由2人操控，车重5.4吨，时速37公里；“2号坦克”上装备了一门20毫米机关炮和1挺7.92毫米机枪，由3人操控，车重7.2吨，时速可以达到40公里。

无论从各方面来看，1号坦克和2号坦克都是卢茨和古德里安无奈之下不得不使用的过渡装备。自1932年起，这两种坦克开始陆续装备部队。

1932年夏，德国总统兴登堡亲自观摩了一次由一个步兵团和一个坦克营参加的混合演习。虽然参加演习的坦克营使用的还是坦克模型，可依旧得到兴登堡的赞赏，同时他对骑兵部队的发展提出了批评。他鼓励了古德里安，反过来则讥讽骑兵说：“在战争中只有简单才可以获得成功，我曾经视察过骑兵的司令部，那里可一点儿都不简单。”

骑兵和摩托化兵之间的博弈开始倾向于后者。

半年后，兴登堡宣布任命希特勒出任德国总理。后者早在1926年就曾表达对摩托化部队的肯定——“未来战争中它将发挥决定性作用”。

希特勒上台后不久，他就在参加柏林汽车展览会时说：“我宣布取消对汽车的捐税，要建立许多新的国家公路，并准备生产大量廉价的人民汽车，让我的人民享受到摩托化的便利。”

此时希特勒还不便表露出对外扩张的野心，但古德里安能够感受到希特勒对部队摩托化和装甲兵的态度，因为后者在军队内部的讲话中说：“下次战争将完全不同于上次战争，步兵攻击和密集队形将过时，持续多年在固定战线进行的呆板的正面进攻将不会再出现……我断定我们将再次获得机动性作战的优越性。”

古德里安决定乘热打铁，不久之后希特勒出席兵器展览会，古德里安从组织者那里得到了30分钟的展示机会。他为希特勒准备了一次装甲部队演习，为此他竭尽所能地安排了1个机车排、1个战防炮排、1个轻型坦克排（装备1号坦克）、1个轻装甲搜索车排和1个重装甲搜索车排参加演习。希特勒看到的是一支训练有素、行动敏捷的部队。演习结束后，他说出了那句著名的话——“这就是我所希望看到的东西！这就是我所希望看到的东西！”

1933年4月1日，古德里安晋升上校军衔。

得到希特勒的支持，装甲部队的组建速度也随之加快。在这个过程中新任国防部长布隆伯格和陆军总司令弗里奇都对卢茨和古德里安给予了支持，不过陆军参谋长贝克则依旧持谨慎态度。

经过古德里安的软磨硬泡，贝克的态度也开始软化，从起初成立装甲旅，渐渐同意组建装甲师。

1934年8月2日，德国总统兴登堡去世。当天，希特勒宣布就任国家武装力量总司令兼内阁总理，成为德国实际意义上的元首。

当年夏天，德国第一支旅级轻型装甲师完成组建，随即开始实施为期四个星期的突击训练。这支部队由骑兵出身的魏克斯指挥，部队则以魏克斯担任师长的第3骑兵师为基干。

训练结束后，卢茨和古德里安邀请布隆伯格、弗里奇和贝克观摩这支部队组织的演习。二人原本也邀请了希特勒，但希特勒的侍卫以安全为由拒绝了。

演习进行得非常成功，以至于弗里奇指着慢慢升起的、标志演习结束的黄色气球兴奋地说：“演习非常好，可惜差了一件事。这个气球上面应该印上‘古德里安的坦克真棒’的字样！”

演习结束后，德国国防军正式成立装甲兵司令部，由卢茨出任司令，古德里安则担任卢茨的参谋长。

1935年10月，德军正式组建第一批3个装甲师。其中第1装甲师由魏克斯少将担任师长、第2装甲师师长由古德里安上校担任师长、第3装甲师则交给了费斯曼少将。10月1日，古德里安离开装甲兵司令部，将参谋长的职务交给了保卢斯。

最初组建的三个装甲师编制为12700人。每个师下辖1个装甲旅、1个摩托化步兵旅、1～2个骑兵团、1个摩托化炮兵团、1个摩托化侦察营、1个摩托化工兵营、1个摩托化通信营、1个摩托化反坦克营、1个摩托化高炮营和1个后备营。

其中装甲旅下辖两个装甲团，每团辖2个装甲营，装甲营包括1个中型坦克连和3个轻型坦克连。

摩托化步兵旅下辖1个车载步兵团、1个摩托化步兵营和1个摩托化反坦克营。

骑兵团则在编入装甲师后不久被撤编。

装甲师最初普遍装备的是1号坦克和2号坦克，全师装甲车累计450辆，另有4000辆汽车。部队行进速度可以达到时速12~20公里，在油料充足的情况下，每天可以行军200~300公里。

令古德里安意想不到的是，自从他卸任装甲兵司令部参谋长后，陆军参谋长对装甲部队的发展进行了修改。1936年初，德国组建第1装甲旅。之后成立装甲部队的进程被暂停。取而代之的是德国成立了三个“轻型师”，每个师简化为3个摩托化步兵团、1个搜索团、1个炮兵团、1个坦克营和一些支援单位。

除了轻型师之外，军工部门生产出来的装备又组建了四个摩托化步兵师，这些师就是将原来的步兵师加以摩托化改造。

上述部队中，三个轻型师被编成第14军，四个摩托化步兵师编成第15军，三个装甲师编成第16军。以上三个军统一由新组建的第4集群司令部指挥，成为德国国防军唯一的战略机动部队。

古德里安曾对贝克的“改革”提出强烈抗议，但在既定事实面前也无计可施。

不仅如此，古德里安等人又先后提出一系列旨在“保证支援单位与坦克在行军速度和越野能力协调一致”的改进措施也没能获得批准。比如他希望能有一种轻型的装甲半履带车辆，可以搭载步兵、战斗工兵和救护人员；装备一种有装甲的自行火炮；以及供搜索营和通信营使用的各种型号的坦克等等。

但不管怎样，德国的装甲部队已经成军。古德里安目前的主要精力全都放在如何提升第2装甲师的战斗力上。

1936年3月，第16军奉命西调。7日，德国军队进入莱茵河非军事区。在确定法国和英国不会动武的情况下，第16军又返回各自驻地。

1936年8月1日，古德里安晋升少将，这一年他48岁。

1936年底至次年冬，古德里安在卢茨的指导下，完成了《注意！坦克》一书。

1938年2月2日，正在维尔茨堡——第2装甲师师部的古德里安接到电话，电话另一端告知他已经晋升中将，并务必于2月4日出席元首在总理府亲自主持的重要会议。

兴奋且一头雾水的古德里安还不知道，德国高层刚刚经历了一场重要的人事地震。