莱芜战役结束后，由第3绥靖区司令王耀武指挥的正规部队就只剩下第12军和第96军了。虽然王耀武对于第12军军长霍守义在莱芜战役中的阳奉阴违感到极度不满，但王耀武手里毕竟没有其他的部队取代第12军，对此也无可奈何。
第12军驻防济南这段时间，王耀武也在千方百计拆霍守义的台，想要把第12军的第111师掌握在自己手里，因此对于第111师的师长孙焕彩进行各种拉拢。
抗战时期，孙焕彩和霍守义分别是第111师长和第112师，只不过霍守义资历更深，且和汤恩伯扯上了关系，最终得以成为第12军长。在第12军内部划分，第112师是霍的嫡系起家部队，而第111师则算是“外来户”，霍守义明里暗里也是想要把孙焕彩搞下去，派自己人担任第111师的师长。
这种错综复杂的内部矛盾，使得孙焕彩也有向王耀武靠拢的意向。霍守义对此深感忧虑，想要摆脱王耀武的控制，并且还警告过孙焕彩说：“希望本军内部团结一致，少和绥靖区进行交往，避免暴露本军的短处。”
到了1948年初，霍守义摆脱王耀武指挥的机会终于来了。霍守义以女儿出嫁为由请假前往南京，实际上是为了见顾祝同，向顾祝同表达了自己的想法。同时顾祝同也想多抓一些部队，同意整编第12师和驻守兖州的整编第32师换防。
当时驻守兖州的整编第32师隶属于李玉堂的第10绥靖区，整编第32师师长也是第10军的老人周庆祥。这个整编第32师（原32军）是商震的起家部队，因在鲁西南战役中遭受重创，重建过程中被王耀武安排不少自己人，反而变成了王耀武的部队。把靠不住的整编第12师调走，把靠得住的整编第32师也是王耀武的算盘。
对于这一调动，最开心的就是霍守义，最不满的就属整编第111旅旅长孙焕彩。在离开第二绥靖区时，霍守义甚至都没有和王耀武告别，可见两人积怨之深，反而是对于孙焕彩，王耀武亲自邀请其参加自家的宴会，握手告别。
整编第12师全军到达兖州后，霍守义听说王耀武邀请孙焕彩参加家宴，就敲打起孙焕彩说：“王司令官表面上对你很好，内心却想撤了你的旅长之职，也想把第111旅的旅长给撤了，通通换成他的人，到时候再撤我这个师长，到时候我们的部队就变成他王耀武的了。咱们跟王司令这么多年，他总想拆我们的部队，李玉堂司令这个人很忠厚，他对我说‘我没有基本部队，哪支部队驻扎在这里就是我的基本部队’。”
李玉堂的野心确实没有王耀武大，把军事指挥权几乎全放给了霍守义，名义上是绥靖区司令，实际上打起仗来全是霍守义说了算。整个兖州战役期间，李玉堂就是甩手掌柜，没有进行任何的干预。
部队到了，就要划分各部的防区，霍守义也就开始搞孙焕彩了。当时整编第12师除了下辖的整编第111旅和整编第112旅外，还有一个自行组建的独立旅，霍守义的嫡系部队整编第112旅由旅长于一凡带领驻防济宁，独立旅驻防曲阜，绥靖区和师直属部队以及整编第111旅主力（直属部队和2个团）驻防兖州，另外要求孙焕彩带领整编第111旅的第331团到滕县，维持与徐州的交通。
对于这个安排，孙焕彩当场发飙，大声说道“让我旅派一个团去滕县，何必要旅长亲自带队？多加一个上司，显得团长无能。按照常理来说，旅长应该和旅主力部队在一起。”作为霍守义心腹的于一凡，板着个脸对孙焕彩说：“这是军长的意思，我们只能遵命行事没有讨价划价的余地。”鸡贼的霍守义以生病为由没有参加这次会议，孙焕彩也无处讨要说法，只能遵命行事。
1948年3月11日，华东野战军山东兵团发起胶济路西段战役，国民党军整编第32师、交警第1总队、淄博守备旅的第3团及地方保安部队被全歼。4月2日开始的潍县战役，国民党军整编第45师驻守潍县的部队全军覆没，师长陈金城被俘。随着国民党军队在山东的重要据点被山东兵团一个个拔除，兖州及其附近地区成为了山东兵团的下一个目标。
潍县战役之后，霍守义开始集中兵力防守曲阜、兖州和济宁三地，孙焕彩指挥的第331团回防兖州，加强兖州守军的力量。对于霍守义为何让嫡系部队第112旅主力防守济宁，主要有以下几点考虑：一、济宁为第5军后勤补给基地，囤积了大量军火。一旦济宁告急，第5军不会坐视不管，兖州的部队也可以出兵救援，因此别看济宁驻军的数量不如兖州，但却有双重保险。二、如果山东兵团集中兵力攻打兖州，即便兖州的部队全部损失干净，只要霍守义可以跑出来，整编第12师凭借第112旅还是可以东山再起。
1948年6月20日，山东兵团为配合豫东战役发起兖州战役，以第7纵队和鲁中军区部队包围兖州，第9纵队、第13纵队负责消灭济南来援之敌，这是我军很常见的围点打援战术。
在兖州被包围前，驻防曲阜的独立旅被山东兵团全歼。为了救援曲阜的独立旅，霍守义曾派孙焕彩指挥第111旅的第331团和第332团，后来又增加了第112旅的第334团及军直属炮兵，并亲自指挥战斗。此时的大部分国民党军队防守还能打一会，去打进攻战根本就不现实，直到曲阜失守，兖州的增援部队还纹丝不动停在我军阵地前。
增援曲阜失败后，霍守义借此机会把孙焕彩撤了职，以自己的亲信刘书维担任整编第111旅的旅长，这一任命进一步打击了整编第111旅的士气。
兖州被围，除济南国民党军出兵救援外，徐州国民党军也是派出了黄百韬的整编第25师积极救援。整编第25师在战场上出现，使得被困兖州的整编第12师有了一线生机，但随着豫东战场的欧寿年兵团告急，整编第25师不再救援兖州，转而开赴豫东战场。至此，国民党兖州守军被消灭只是时间上的问题。
山东兵团在无援可打的情况下，于7月1日集中第7纵队、第13纵队和鲁中部队全力攻打兖州。整编第12师毕竟是没有遭受过重大打击的老部队，凭借坚固的防御工事守起来还是有一套的，山东兵团直到7日才肃清了兖州外围阵地。7月12日黄昏，山东兵团攻城部队对兖州发起总攻，主攻部队从城西突入城内，战至13日下午兖州国民党守军全部被消灭。
13日下午，李玉堂率先化妆跑路，霍守义见李玉堂跑了，也抛弃部队跑路。霍守义原本计划逃到济宁掌握部队，但途中发现到处都是整编第12师的伤兵，霍守义触景生情，长叹一声说：“兄弟们跟了我这么多年，今天落得这么个残局！即便逃出去，又有何面目见第112旅官兵呢？”于是，霍守义主动找到解放军投降。
兖州战役后，济宁的整编第112旅主力（欠第334团）在旅长于一凡的带领下撤往徐州。因为整编第112旅的2个团建制完整，刘峙在检阅该部时认为这支部队是有一定战斗力，决定重建整编第12师。当时正值国民党军队整编师改为军，新组建的整编第12师恢复第12军的番号，下辖第112师和由地方保安部队组建而成的第238师，于一凡暂时代理军长一职。
第12军重建起来不久，汤恩伯看上了这个部队，派第13军副军长舒荣担任第12军的军长，于一凡只能担任副军长兼第112师师长。在淮海战役中，第238师在灵璧被解放军全歼，第112师在陈官庄原计划响应老师长霍守义的号召举行起义，但因为有人告密，师长于一凡被扣，只起义成功了师部和第335团，剩下的2个团则一直顽抗到了最后。
至此，国民党第12军的历史宣告结束，在各种勾心斗角中，该部能存在到淮海战役实属不易。借用霍守义的说法就是：解放战争中的第12军既要防止被蒋介石吃掉，也要防止被解放军消灭。在历史大势面前，第12军既是被蒋介石吃掉了，也被解放军消灭了。
