1955年，赵尔陆被授予上将军衔，军委照例为他配发了崭新的将军服。但出人意料的是，在授衔仪式结束之后，赵将军便将新军服塞进衣柜里，往后再也没穿过，有人曾问他为什么要这样，他直言自己一穿上新军服，就老是想起牺牲的战友，心里很不舒坦，所以就不穿了。

赵尔陆19岁开始闹革命，20岁时，他心怀一腔热血，离开山西老家南下到武汉参加国民革命军，想要跟同志们一起打击军阀势力，实现民主、自由的理想。董必武先生对于赵尔陆很是欣赏，于是便破例收下他，并安排他到贺老总的部队服役。当年下旬，他跟着贺老总在南昌发动起义，后来又在朱老总的领导下在三河坝阻击敌人。

三河坝战役结束之后，他在朱老总的带领下，辗转粤北、湘南，期间有很多战士因为受不了打游击的苦，纷纷脱离队伍，自行散去。但赵尔陆却一直紧跟着革命队伍，从来没有想过脱离红色阵营。红4军建立之后，他出任某连党代表，后来红军转往江西发展，他也就脱离一线，转往后勤部门工作，专门负责为战士们筹措粮草和军械。

抗战时，赵尔陆仍旧在八路军中负责后勤工作，为了给各部队筹措物资，他费尽了心思，一边不厌其烦的向国民政府讨要，一边自行建立兵工厂，生产各类武器和弹药。在经典影视剧《亮剑》中，李云龙经常提到“边区造”，其代指的是八路军自行生产的一种手榴弹，因为工艺水平不好，这种手榴弹的威力很小，有时甚至根本炸不响。可八路军就是凭借着这种武器将日寇打败，艰难取得了抗战的胜利。

建国后，为了支援志愿军，党中央决定成立第二机械部，专门负责生产、制造、维修轻武器，保障志愿军战士们作战所需。而二机部的部长自然由后勤工作经验丰富的赵尔陆担任，他对于能不能干好这份工作其实是没什么信心的，因为当时中国并没有像样的军工基础，只能生产一些子弹和手榴弹，至于枪械根本无力制造。

为了改变这一状况，赵尔陆决定向苏联请求援助，随后在苏联的帮助下陆续建立了几个小型的兵工厂和科研单位。很快，在军工工作者的努力下，我们终于成功仿制了苏联的一些装备，比如著名的“水连珠”步枪，我国定型称“53式”步枪。随后，我国又陆续成功仿制“SKS步枪”、“波波沙冲锋枪”等装备，这些武器后来成为解放军手中的杀敌利器。

赵尔陆随后又趁势建立了一系列军工科研单位，研究范围涵盖枪械、光学、材料等领域，这些研究所后来开花结果，联合为解放军研制了许多先进武器装备，有效的提高了解放军的作战水平。1958年，二机部与一机部合并，赵尔陆出任部长，此时中国已经拥有了比较完备的军工体系，能够仿制包括火箭炮和战斗机在内的很多重型武器装备。

1959年，在庐山会议期间，赵尔陆为彭老总仗义执言，他直言“大跃进”是错误的，是脱离实际的，必须要予以纠正。可当时的政治风气整体偏向“左”，因此赵尔陆的言论很快便被定性为“右倾”保守主义，他随即受到了猛烈的批评。这让赵始料未及，他一连好几天都没有睡好觉，整个人浑浑噩噩，脑袋一直“嗡嗡”响。

事后，他主动做了检讨，向党中央承认了错误，但却未能取得大家的谅解，在1960年，他被革除一机部长一职，很多同志要求要撤销他的党籍，这时周总理和邓公主动站出来向他讲好话，这才将他保了下来。经此一劫，赵尔陆身心疲惫，他患上严重的心脏病，有一段时间甚至连话都说不了。聂帅闻讯后主动登门看望他，并且劝他辞去职务，在家里好好疗养，以免出什么意外。可赵尔陆却坚持继续工作，眼下国家正处于关键时期，自己千万不能掉链子！

1966年，他再度受到冲击，彼时他已经年逾花甲，身体状况大不如以前，根本经不起折腾，某一天，他在被批斗之后，不禁潸然泪下，抱着妻子哭成了泪人，他直言自己革命十几年，一直赤胆忠心，现如今怎么就成了“反革命分子”？1967年，赵尔陆在办公室撰写报告的时候，突然感觉心脏一阵绞痛，他还没来得及向秘书求救便倒了下来，时年62岁。