中原突围时，河南军区部队奉命原地坚持斗争，准备在豫南桐柏山地区开展游击战争，同时，接应和掩护主力部队越过平汉线。

1946年7月3日，中原军区电示河南军区除留下三分之一的武装，坚持原地斗争外，其余部队立即从主力右翼，单独行动，向西北转移。

根据中原局的指示，河南军区党委研究决定：一，由政治部主任张难和张旺午同志负责妥善安置不方便随军行动的2000多名干部和伤病员，或化装北上，或分散隐蔽，按照被安置人员的不同情况，分别发给三个月、半年或一年的生活费；

二，留下三分之一的武装，由张波、宁淮和牛得胜负责，组成一个独立支队，坚持在桐柏山根据地开展武装斗争，同时组成五个县委，领导党的秘密作；

三，其余人员计3000余人，组成4个战斗营，和直属机关及信桐干部团一起向西北突围。

7月4日，河南军区司令员兼政委黄霖率领转移部队由随县祝林店出发，经草店北上，插向北路主力的右翼，向豫西挺进。

7月5日晚，部队行至庙湾时，与追击北路主力的国民党第四十一军一部遭遇，河南军区部队当机立断，集中火力，激战一个小时，将敌击溃。部队穿过公路，甩掉敌人，当晚渡过淮河并继续前进，经桐柏县进入泌阳县境，途径马古田、杨集，抵达泌阳县西北羊册镇。

经侦察得知，该镇有一座国民党军队的粮仓，存约3000担小麦，只有两个保安大队防守。经军区党委研究，决定打下这个据点，夺取粮仓，解决吃饭问题。

为了以最小代价达到预定目的，部队采取"网开一面"的打法，仅从东北方向发动进攻，有意让敌人向西南方向逃跑，战斗一打响，保安团就仓惶朝西南方向逃窜。

河南军区部队进入镇子后，立即打开粮仓，全军干部战士每人按规定背上五天标准的伙食，其余的粮食全部分给了镇上的群众。

河南军区主力在羊册镇休整期间，随军突围的原竹沟地委书记张旺午和原泌阳县委书记张难、副书记李建安分别会见了羊册中心支部负责人，指示他们坚持原地斗争。

7月13日，部队离开羊册镇西进，行至许（昌）南（阳）公路时，伏击国民党十几辆辎重车，补充了全军的经费和给养。

7月中旬，部队进入伏牛山腹地，黄霖率领部队多次冲破保安团队的包围和袭击，于27日进至豫陕边界的两岔河。

为便于行军，部队兵分两路，分别向陕南挺进，并设法寻找中原局。黄霖率一部进入卢氏一带，与中原局取得了联系。第七团政委邵敏率另一路和3个干部大队从两岔河出发，越过西荆公路，渡过丹江，在古路河遭遇到国民党军3个旅的伏击，血战一天，杀出重围，再渡丹江，经13天艰苦转战，与黄霖部在卢氏县木桐沟会合。

从6月26日到8月初，中原解放军各支劲旅以无比坚韧的毅力，艰苦转战鄂、豫、苏、皖、陕等省，历经艰难险阻，终于突破国民党军队的重重包围和堵截，胜利完成了战略转移任务。

在一个多月的突围战役中，中原解放军虽遭受不少损失，付出了很大的代价，但保存了基本力量和骨干，创建了豫鄂陕和鄂西北两块根据地。留下的部队坚持在大别山和豫南地区开展游击战争，在战略上配合了全国各解放区的斗争，拖住了国民党数10万大军无法北上，为人民解放军在东北、华北、西北等战场的战略展开赢得了时间。