王兆乾与严凤英的恋情公之于众后，因为他们人生经历的不同而遭到了一些非议。王兆乾的一位友人对王兆乾说：“你人有人才，貌有貌相，又富有文采，为什么偏偏选择她？”王兆乾当即反驳这位友人：“你常说你解放前就倡导反封建，你写的文章都在冲破旧观念，为何你的思想依旧如此保守？”嘴上据理力争，可舆论压力仍让他倍感沉重。
1953年6月，安徽省黄梅戏剧团赴南京演出。王兆乾看到在剧场的后台有几个人常围在严凤英身旁，后得知是南京甘氏家人。早年严凤英流落金陵曾受甘家照料，与甘家四少爷甘律之有段旧缘。这事成了王兆乾心里过不去的坎。甘律之来信邀请严凤英和王兆乾去他家做客，王兆乾不去；严凤英提议去甘律之店里，仍被拒。后来，严凤英还是应甘家之邀去了甘家，王兆乾独自去拜望在南京的伯父。巧的是当晚在夫子庙街头，王兆乾和严凤英以及甘律之不期而遇，严凤英向王兆乾介绍甘律之，甘律之主动伸手要和王兆乾握手示好，王兆乾手插口袋未回应，转身就走了。严凤英追上王兆乾问王兆乾为什么那样做？王兆乾只觉心里那道坎始终没过去。那时严凤英已怀有王兆乾的孩子，她和王兆乾争执间情绪起伏很大，也影响到了剧团的后续演出。
1954年2月，严凤英在安庆生下儿子王小亚，王兆乾仅发电报祝母子平安；那段日子，陪伴在严凤英母子身旁的是甘律之。数月后严凤英和王兆乾重逢，严凤英主动邀请王兆乾跳舞。后来，他们在吃饭时严凤英落泪埋怨王兆乾未探望她和孩子。王兆乾想到甘律之便觉得自尊心受挫说话就难听了。其实他当时并非全无挽回之意，只是碍于还有友人在场、几番交谈，裂痕难以弥补。一段因艺术相遇的缘分，抵不过世俗流言，也败给接踵而至的误会。