正光六年（南梁普通六年，公元525年）正月元法僧举兵作乱，献土投降南梁，这让本就焦头烂额的元乂内心更加恐惧。

虽然大权独揽，可这几年元乂的日子并不好过。正光四年（南梁普通四年，公元523年），元乂的盟友刘腾病逝，这让元乂的地位进一步提高。但元乂并没有什么过人的才华，在他得势以后，更是变得傲慢无礼、嗜酒好色、贪污受贿无所不干，在他的表率下北魏上下弥漫着一股严重的腐化之风，这种情况下出现六镇之乱也就毫不意外了。至于元法僧则是元乂举荐的，如今他叛变，元乂恐怕也是难辞其咎。

元乂的无能也让胡太后看到了希望，在刘腾死后元乂放松了对胡太后和元诩的监视，自己更是时常出外游玩留连不返。胡太后瞅准时机，在元诩和百官面前哭起来，表达对母子被迫分离的不满，并表示与其这样还不如出家为尼。元诩和群臣见状赶忙磕头流泪苦苦哀求，最终以元诩暂住嘉福殿化解了这次事件，母子两也利用这几天事件密谋废黜元乂的方案。元乂回宫后，元诩痛哭流涕的把胡太后想出家，以及想常来显阳殿见自己的话全告诉了元乂，一天之内竟然说了四次。元乂听后不知是烦了还是善心大发，竟然同意了胡太后的要求，于是胡太后数次住宿于显阳殿，两宫之间不再有什么禁限了。

胡太后被解除软禁后，本就惧怕元乂的丞相、高阳王元雍也开始采取行动。他借着胡太后与元诩到洛水游玩的时机邀请他们临幸自己府上，实则是和两人密谋制定了收拾元乂的计谋。不久后胡太后对元乂说：“元郎如果忠于朝廷，没有反心的话，为什么不辞去领军之职，只担任其余的官职来辅政呢！”此时的元乂因为六镇之乱和元法僧事件已经提心吊胆，于是便摘下帽子请求解除自己的领军一职，北魏朝廷也随即任命元义为骠骑大将军、开府仪同三司、尚书令、侍中、领左右。

尽管失去了兵权，但元乂此时还是总管朝廷内外之事，所以并不觉得自己会遭遇什么威胁。胡太后此时心中也对是否要除掉元乂变得犹豫不决，但元乂得罪的人实在太多，想要干掉他的人多得是。侍中穆绍见状赶忙劝说胡太后迅速除去元乂，以免日后麻烦。另一边宦官张景俊也开始游说元诩的爱妃潘嫔，说元乂要害她。结果潘嫔立刻跑去向元诩哭诉，表示元乂不仅要害自己还要加害元诩。于是元诩准备行动，借元乂出宫住宿之机，解除了他的侍中之职，并不允许他再次入宫。四月辛卯日（十七日），胡太后再次临朝摄政，重获大权的她立刻下诏书削去刘腾的官爵，并把元乂贬为平民。

不久后清河国的郎中令韩子熙上书朝廷为清河王元怿鸣冤，请求诛杀元乂等人。此议正中胡太后下怀，于是她借此下令发掘刘腾墓，将刘腾骸骨撒露于野，并没收了刘腾的全部家产，又将他的养子全部诛杀。至于如何处置元乂让胡太后一度犯难，毕竟这是自己的妹夫，于是胡太后只得先清除了他的党羽。但不杀元乂不足以平民愤，在元诩和众大臣的坚持下胡太后只得令元乂兄弟在家中自尽，但是还赠于元义骠骑大将军、仪同三司、尚书令之职。

元乂集团倒台，胡太后重新出山，北魏的情况是否会好转呢？