墙倒众人推。《魏书·阉官传》称：“又有张景嵩、毛暢者，咸以阍寺在肃宗左右，而并黠了，甚见知遇。俱为小黄门，每承间陈元义之恶于肃宗。元义之出，景嵩、暢颇有力焉。”《北史·元叉传》也称：“有阉人张景嵩、刘思逸、屯弘昶、伏景谋废叉。”孝明帝最宠爱嫔妃潘外怜，张景嵩对潘嫔说：“元叉将要谋害您。”潘嫔信以为真，在孝明帝面前哭诉道：“元叉不仅仅是想杀死我，还将加害陛下。”孝明帝也深信不疑，趁元叉轮休之机，解除了他的侍中一职，第二天，元叉将要入宫，卫士拒绝他进入。正光六年四月十七日，胡太后再度宣布临朝摄政，下诏剥夺死去的刘腾官爵，将元叉削职为民。
元叉倒台后，其对立面立刻浮出水面，要求对其进行清算。清河王元怿的清河国郎中令韩子熙，是韩麒麟的孙子，元叉害死元怿后，韩子熙发誓如果元怿不被平反昭雪，自己将终身不出仕。此时，韩子熙与元怿过去的中大夫刘定兴等人跪在皇宫门外上书替元怿鸣冤，要求诛杀元叉等人，于是，胡太后下令挖开刘腾的坟墓，敲碎骸骨，抛尸荒野，没收刘家全部家产。又任命韩子熙为中书舍人。后来，刘腾的一个养子叛逃南梁，胡太后大怒，将刘腾剩余的养子们全部都流放到北部边境，途中，又派遣刺客在汲郡将其全部杀死。元叉一党宋维、宋纪兄弟，是陷害清河王元怿的元凶，元叉专权后，宋维被任命为冠军将军、洛州刺史，后又调任营州刺史，胡太后下令将其除名，不久，又将其在邺城赐死。领军将军侯刚也被胡太后调出京师，外派为冀州刺史、开府仪同三司，途中，贬为征虏将军，免去官职，后死在家中。胡太后还痛恨曾欺骗过自己的宦官贾粲，担心元叉的党羽很多，不便在京师处死贾粲，遂任命其为济州刺史，途中派武卫将军刁宣将其诛杀，没收家财。
元叉一党死的死，贬的贬，只剩下元叉一人是胡太后的妹夫，胡太后一直不忍心对其下手。元叉活在世上一天，都令对手们提心吊胆一天，谁能料到哪天元叉再度崛起，不把屠刀架到这些人的脖子上？一时间谣言四起，有人说：“元叉还将会被重新起用。”曾在孝明帝废黜元叉上出过力的宦官张景嵩和毛畅担心会出现意外，遂建议孝明帝下诏令右卫将军杨津（杨椿之弟）秘密前去杀死元叉。诏书已经写成，还未来得及下发，元叉的妻子、胡太后的妹妹冯翊郡君胡氏就知道了，她匆匆忙忙入宫告诉胡太后说：“张景嵩和毛畅联络清河王元怿的儿子元邵将要废黜太后。”胡太后信以为真，责令张畅拿出诏书，张畅将诏书的草稿献上后，胡太后读完，发现并无废黜自己的字眼，才稍稍心安。但是，胡氏深知如果继续让二人留在宫中，势必会让元叉处境危险，遂在姐姐面前不断说二人的坏话，不久，胡太后就将毛畅外任为顿丘太守，张景嵩外调为鲁郡太守，后来，又密令御史诛杀了毛畅；张景嵩回京，胡太后狠狠地数落了他一顿，但却留下了他一条性命。
胡太后惩处张景嵩和毛畅二人，并非因为二人试图诛杀元叉，而是因为二人的行动让她感到二人在左右年幼的孝明帝，威胁到自己刚刚抓到手里的最高权力，这一事件也让她复出后与儿子孝明帝之间的二元政治出现了一丝不和谐。
除了张景嵩等人外，北魏统治集团的其他成员也都不愿看到元叉继续活下去。过去，给事黄门侍郎元顺（元澄之子）曾得罪过元叉，被贬为齐州刺史，胡太后复辟后，将其召为侍中。元熙被杀后一直没有安葬，一次，元顺坐在胡太后身边，元叉的妻子胡氏也在一旁，元顺说：“昨天我看到元熙家送葬，一门七口棺材，不久是宗室为他家心酸，就是路上的百姓也莫不潸然泪下。”说完，遂指着胡氏对胡太后说：“陛下为何因一个妹妹就不让元叉受到应有的惩罚，让天下人无法伸冤！”胡太后听了，张口结舌，无言以对。又过了几天，胡太后平静地对侍从们说：“刘腾、元叉昔日曾请求朕给他们发放免死铁劵，希望有罪时能够免死，幸亏当时我没有给他们。”中书舍人韩子熙说：“是生是杀，全看具体情况，与给没给铁劵又有什么相干！况且陛下昔日虽然没有给他们铁劵，但对今日不杀他又该如何解释呢？”胡太后听了恍然若失。咸阳王元禧的儿子元树逃往南梁后被梁武帝封为邺王，元法僧南降后，元树给北魏群臣写信说：“元叉本名夜叉，弟弟元罗本名罗刹。夜叉和罗刹，都是吃人之鬼……他们兄弟起了这样的名字，就说明他们能吃人，时间长了，人们才相信这话。”不久，就有人告发元叉及其弟弟元瓜阴谋作乱，举报人得到了元叉兄弟的亲笔书信，信上元叉先派遣堂弟元洪业率领六镇降户在定州作乱，又计划招诱鲁阳山蛮骚扰京师，攻击伊阙（今河南省洛阳市南五十里），二人愿为内应，信上还定下了举事日期。胡太后仍不忍处死元叉，黄门侍郎李琰之说道：“元叉之罪，远近皆知，岂能再拖，混淆视听！”胡太后的近臣中书舍人徐纥善于见风使舵，他想近前劝谏，但又犹豫再三，最终不敢吱声。群臣一再请求，孝明帝也表明了态度，在各方压力下，胡太后不得不将元叉和元瓜于家中赐死。据《元义墓志》称，元叉是在孝昌元年（即正光六年）三月二十日，孝明帝下诏以两千禁卫军包围了元叉府邸，元叉未作抵抗，喝下送来的毒药而死，时年三十一岁。据《墓志》元瓜是元叉的第五弟，名元宾。
元叉死后，胡太后追赠其为持节、侍中、骠骑大将军、开府仪同三司、尚书令、冀州刺史，将其厚葬，胡太后还率领百官亲自到陵墓上哭祭。元叉墓规模宏大，装饰华丽，堪比宣武帝的景陵，出土的《元义墓志》是迄今字数最多的北魏墓志。
元叉死后，其父江阳王元继也被免官，元叉庶长子元稚南逃梁朝，前幽州刺史卢同也因是元叉同党而被除名。元叉弟弟元罗被召回京师，担任宗正卿，为了保命，他又强娶寡嫂冯翊郡君胡氏为妻，受到世人的嘲笑。