叶挺被囚禁之后，辗转别困于上饶、桂林、恩施、重庆等地。1943年，叶挺的妻子带家人等十六人，从澳门来到了桂林。叶挺知道此事之后，随即向陈诚要求，希望自己可以去到桂林，和家人团聚。由此，经过一番波折，叶挺先是到了柳州，然后叶挺才顶着“第四战区高参”的空衔来到了桂林，与家人团聚。

这个时候的叶挺，相比两年之前，已经相对自由很多了。但是依然受到了特务的监视。刚到桂林的时候，叶挺夫妇和岳父、连襟、孩子一家子人住在小旅馆里面。那个时候，叶挺虽然可以领取一份薪水，但是并不多。而且但是物价飞涨，叶挺家里人又多，经济自然就拮据起来。叶挺一家只能靠一些朋友资助，和妻子带来的嫁妆勉强维持生活。

值得一提的是，叶挺的岳父是澳门的富商。但是在叶挺娶李秀文的时候，其岳父许诺把全部财产卖了，作为女儿的嫁妆。但是条件就是要给他们养老。所以叶挺的岳父和连襟是跟着叶挺一起生活的。而李秀文在叶挺担任新四军军长之后，把很大一部分嫁妆拿了出来，为新四军购买物资。所以到了桂林之后，一家人已经没有剩下什么钱了。

为了减少开支，旅馆自然是不能再住了，叶挺在朋友们的帮助下，在七星岩附近找到了一家房子，由此在那里住了下来。这一段时间，应该是叶挺自被囚禁一来，过了比较幸福的生活，因为这是很难得可以和家人相处的时间。

在这期间，李秀文的肚子一天天大了起来，叶挺的第九个孩子不久之后也出生了。生活越来越紧张，叶挺只好把一些东西拿出去变卖。有一次，叶挺的连襟麦畅生到街上摆摊，准备变卖一些物品。没想到竟然被特务当成了叶挺，随即便有人来摊位前找麻烦。

后来，叶挺又搬了一次家，这次搬到了比较偏僻的观音山附近的一个防空洞里面、这个新家，后面是一块石头上，前面是一块大空地。 这里人少，而且出去的路只有一条，所以特务也放心，便也在叶家附近找了一家房子住了下来。

看着山前的空地，叶挺若有所思起来，他把孩子们招呼过来：“大家跟着爸爸一起开荒好不好？”于是，几个大一点的孩子，每天除了上学之外，白天待得最多的就是在田里。一下课回家，几个大孩子就会自觉地拿着锄头，走到空地上开荒。叶挺还从市场上面买回来十多只羊。从此，孩子们除了回来帮忙开荒之外，还回去山上放羊。

据叶挺次子叶正明回忆。当时去山上放羊，特务也跟了上来，这些特务就住在叶家隔壁不远处，一共有四个人。特务看见孩子们上山放羊，有一个就会拿着棍子跟上来，跟着孩子们上山放羊。特务还吓唬孩子们说，上山有蛇，不要随意上山，如果上山的话，应该叫上他陪着，因为他很会抓蛇。这自然是说辞，只不过是为了更好地监视他们，怕孩子们溜上山跑了。他每天跟在身后，也给孩子们的童年留下了抹不去的阴影。

叶挺当时虽然还是处于禁锢状态，但是也是比较自由的，可以自主的见一些朋友。比如李济深、何香凝、柳亚子等人。还有以下新四军的旧部，也悄悄的来到桂林登门拜访。这些消息传到蒋介石耳中后，使他非常的不安。于是黑暗再次降临到叶挺的生活之中。

叶挺在新四军

叶正明说，1943年12月25日那天，他们放学回家，看到父亲的房间门是紧锁着的，外婆摸了摸他们的头，伤心的说道：“你爸爸被绑走了，你妈妈正设法打听消息。”话音刚落 ，孩子们就意识到，自己的父亲现在处境不妙，纷纷哭了起来。

果然，在第二天，有一个穿军装的人走进了叶家。他拿出一封信，对李秀文说：“叶高参让我来请二少爷、四少爷、五小姐一起去。这里有他的亲笔信。”说完，就把信递给李秀文。她一看，果然是叶挺的亲笔信。她问来人：“你们要把他们送到哪里去？”来人说：“我不知道，这是上面的意思。”李秀文想了想了一下后 ，还是帮这三个孩子手收拾行李，让这三个孩子跟了去。

李秀文

三个孩子便跟着这个人走了。一天之后，三个孩子见到了满脸愁容的父亲。一夜之间，叶挺仿佛老了许多，额头上爬满了皱纹。几人经过十八天的跋涉， 回到了曾经关押叶挺的恩施。

在恩施，叶正明才得以和父亲说一些悄悄话。由此才知道，父亲被绑的经过。 当时住在叶挺隔壁家的特务突然跑进来说，有一只羊别人偷走了。叶挺不知道其中有诈，跟着特务就上山区找。上到山腰，突然从四面八方涌出二十几个人来，手里都拿着枪。其中一个人走到叶挺面前，拿出一封信说：“郭副长官请叶高参到恩施玩一下。”

叶挺看着周围二十几个都拿着枪的人，丝毫不畏惧，相反大怒，质问道：“请？为什么不到家里去请我？你们是土匪吗？”一个大胆的特务说道：“不是！”叶挺抬起手，打了他一巴掌。那特务也不还手，只是说：“你打我也没关系，这是上面的意思。”

于是这伙人就把一肚子怒气的叶挺带到了山下，这里早已经停着一辆大卡车，在等着他们把叶挺带上车。叶挺上车之后，在一个地方停了停，叶挺正是在这里给李秀文写了那封亲笔信。写完信，叶挺连告别都没有，就直接坐着卡车去了衡阳。

叶正明还从父亲哪里得知，原来父亲写信要接他和四弟、五妹是别有用心的。因为在桂林的时候，叶挺深感家人生活困难。现在自己走了，让妻子一个人，该如何支撑的起这个家。所以叶挺也觉得带走三个孩子，可以减轻妻子和家庭的负担。

叶挺李秀文与叶正明

这三个孩子，也是叶挺经过深思熟虑才决定的。他没有带大儿子叶正大，因为叶正大毕竟年长一些，可以帮助妻子。而跟着叶挺的孩子，可能要吃一点苦，所以不能太小，所以叶挺就选了儿子正明、华明。

而女儿杨眉是叶挺最喜欢的孩子。但是李秀文连生了几胎都是男孩，叶挺很像要一个女孩，知道第五胎才是个女孩，这女孩便是杨眉，又扬眉吐气之意。也正因为有杨眉在身边，叶挺的禁锢生活也多了一些慰藉。后来，女孩杨眉比叶挺先获得自由，被接去了延安。待叶挺被释放之后，大家特意把杨眉从延安接到重庆来，让父女两早日见面。没想到的是，杨眉跟着叶挺一起上飞机，回延安的时候，遭遇了空难。实在是让人惋惜。

在恩施的时候，叶挺和孩子就住在城外的一个山脚下。为了生活，叶挺养了十几只兔子 ，后来这些兔子越养越多，增加到了五十只。除了兔子，叶挺还养有十几只鸡鸭。后面还有一块荒地，为了补贴家用，没事的时候叶挺就会来开荒，种上一些菜。闲下来的时候叶挺会带着孩子们去玩，进城买菜，或者去野外散步，当然这里面都是有特务跟着的。叶挺就一直这样生活一直到被释放。

在叶挺被释放，即将去延安，重新开始自由的生活之际，叶挺和家人却魂断黑茶山，这实在是让人痛惋。