李义府刚被贬斥，三月底，蓬莱宫（大明宫）完全竣工，高宗于二十五日正式移居蓬莱宫，此后就在蓬莱宫的正殿紫庭殿听政。武则天在一定程度上削弱相权的目的达到了，但由于新受打击，此事最大的受益者不是她，而是处处对她有所防范的高宗，还有高宗一心扶持的太子。十月初一，唐高宗更是命令太子每五日一次到光顺门内，视察各部门呈奏事情，事情比较小的都授权太子裁决。当时太子才十三岁，高宗是出于自己身体不行，武后一党又不太安份的考虑，才这样急切地培养太子的能力。
李义府被贬后，宰相位置留下了空缺，高宗有意让办案有功的刘道祥来充任右相（即以前的中书令）的缺。但是刘道祥怕武后因李义府的事而迁怒于他，便屡次上表，请求告老还乡。高宗开始很不解，年纪也不是很大，而且没病没灾的，乞什么骸骨？后来悟出来：这是怕武后报复！明白了这一点之后，高宗反而更坚决地要任命他为右相。这样，不管刘道祥愿意还是不愿意，他都因为审理李义府一案而被绑到了武后的对立面上了。
除了刘道祥之外，因李义府的倒台而获益的还有一位，便是上述在大海里翻船，差点没被李义府整死的刘仁轨。表面上看，刘仁轨是靠着从辽东回朝的刘仁愿的几句美言，官职一口气连升了六级，实授带方州刺史（今朝鲜半岛的开城）得以镇守海东。实际上，他和李义府的敌对关系应该才是高宗看中的。高宗此事需要扶植一些和武后党羽敌对的势力了。
李义府的去职是武后向政坛发展后受到的第一次挫折，原本她朝夕得见天颜，能就近了解和掌控局势，一旦高宗发病，她还可以带行部分君权。以前李义府掌握中书出旨权，许敬宗掌握门下封驳权，旨意便可畅通无阻地顺利发布。现在随着李义府的倒台，缺失了重要一环，可以想象武后沮丧的心情。然而面对这样的不利局面，她性格中的稳和忍占了上风，并没有大吵大闹和高宗硬碰硬，而是采取以退为进的办法，脱离是非圈。这一年她已经41岁，和高宗也算老夫老妻了，她想通过这样的怀柔办法，缓和自己和高宗的关系。留得青山在，不怕没柴烧，只要保住自己的地位就好。
后宫万紫千红怎容一枝独秀，也就在这时候后宫有人与她争宠。不是别人，是武则天的自家人。武则天的姐姐韩国夫人，是个俏丽风流的寡妇，一直和高宗有染，韩国夫人的女儿贺兰氏也有倾国的容颜。韩国夫人经常带着她的女儿出入宫苑，时间一长，高宗就和他的女儿也搞上了。然后不久韩国夫人死了，传言是被武后毒死的。高宗又有了将韩国夫人的女儿正式纳为嫔妃的打算，而且计划是把她直接名列九嫔之一。武后害怕自己会因此失宠而走上王皇后的老路，也采取巫蛊之术，想诅咒死这个外甥女。
没想到这事被人捅到了高宗那里：麟德元年（664年）十二月，宦官王伏胜举报，说武后常召道士郭行真进入宫禁，行“蛊祝”、“厌胜”之术。高宗闻报大怒，生性软弱的他此时也来了蛮劲儿：真的需要处理一下这个女人了！于是他密召宰相上官仪进宫，商议一下该如何处理武后。上官仪是由高宗越过宰相们的权力，亲手提拔上来的，他当宰相一年多的时间里，正是高宗打击打击武后党羽的时候，所以很快就独持国政，权势熏天。上官仪为人恃才任势，举止张扬，惹得不少人反感。当时朝中只有老臣许敬宗才能和他抗衡一些，所以他和武后一党免不了产生矛盾。此时一听高宗对武后有意见，就来了精神，说：“皇后专权骄横现在是充分显露出来了，天下人对她的意见很大，我认为有必要废掉她，另立皇后。”高宗闻言心意越发坚定，便令上官仪草诏，准备废后。上官仪运足了文思，把废后诏书一气呵成，开列的罪状有十数条之多。
眼看着武后的凤冠就要摇摇欲坠，眼看着密室密谋就要付诸实施，在这关键时刻，武后的后宫情报网再一次救了她的命。她在高宗身边安排了很多耳目，事情一出，早有左右侍者纷纷急报给她。武后面对突如其来的灭顶之灾，没有惊慌失措，也没有浪费时间犹豫，而是毅然决然立刻来见高宗。这边上官仪刚放下笔，草诏的墨迹还未干，武后就出现在他们面前！所幸此时诏书还只是个草稿，晚来半步，就任凭是谁也无力回天了！
武后的出现太过突然，高宗和上官仪都愣在当场，异常尴尬。估计上官仪见势不妙赶紧溜掉了，高宗面对武后，一时又翻不过脸来。武后当即跪在高宗面前自辩，问自己到底有什么过错，要被废掉。高宗只好说是王伏胜举报云云。武后则辩驳道，王伏胜并不在后宫值勤，何以知晓有厌胜的事？高宗无言以对。随后，武后不卑不亢地陈述了几年来辛苦辅政的事，软中带硬地问，是什么让他不信妻子却信奴才，竟以至于不顾夫妻之情，妄弃无辜？这一问，就把高宗制服，危机总算过去了。这场风波其实非常凶险，武则天之所以能一番言辞就把它化解，是因为她抓住了高宗的性格弱点。如果武后遇到的是另外一种性格的男人，事情可能完全不是这样的结局，就算本来没有下定决心的现在都有可能为了维护帝王尊严而废后，更何况你在后宫的耳目能有这么快的反应，太危险了！但生性柔弱的唐高宗在皇后的涕泣申诉面前，满腔的怒火早已烟消云散，再想想废后之后，随之而来的又是太子之位不保，国本动摇，牵涉实在太大了。于是高宗连忙收起诏书草稿，仍是惊魂未定，还深怕武则天伤心怨恨，就说：“我本来也没有这样的打算，是上官仪坚持说，我才有这想法的。”两人在密谈了很久，高宗连连道歉，待武后亲密如初。
要命的是，高宗平为了息武后怒气，出卖了上官仪。不知道上官仪失魂落魄地走出宫门的时候，是否意识到了厄运正悄然迫临。武后现在既然已经把高宗搞定了，下一步就是报复上官仪。不管上官仪是始作俑者也好，是附和者也罢，都一定要付代价！她指使许敬宗上表，以上官仪、王伏胜曾共事废太子李忠为由，诬陷三人暗中勾结谋逆作乱。李忠的身份太过敏感，上官仪被和他扯到一起，结果肯定是麻烦。这道奏表一上，高宗心里暗自叫苦：这是要折我的臂膀啊！此时，可能是满朝的大臣惧于武后的淫威与毒辣，可能是因为上官仪的这个罪名太大，也可能是因为上官仪的人缘本来也不好，也可能因为上官仪的私党见他不死也得脱层皮，求情后自己免不了受拖累，反正是史书上没有记载有谁站出来说句求情的话。
高宗被武后逼的无路可退，只好准奏。于是上官仪就成了武后要杀的儆猴之鸡，也成了被高宗甩出来的替罪之羊。高宗麟德元年（664年）十二月，上官仪被逮下狱，和他儿子上官庭芝、还有王伏胜，一并处死。家属籍没，上官仪的孙女上官婉儿，其时还在襁褓之中，她就是在这时候随母亲一起被没入宫的。
两天后，废太子李忠被赐自尽。此时，太子李弘奏请为哥哥收尸下葬。高宗闻奏称赞李弘仁厚，这时候武后居然还能微笑着附和。这并没有算完，事情还牵连到去年审判李义府一案、现在已是宰相的刘道祥，他伤了武后的亲信李义府，自然要受报复，这次被因为与上官仪来往密切而被罢相，降任司礼太常伯（礼部尚书）——他一直就在往后躲，但秋后算帐还是找上他了。还有左肃机郑钦泰、西台舍人高正业、司虞大夫魏玄同和张希乘、长安尉崔道默等一批朝士，也因和武后党羽有矛盾，被诬以相同的罪名或流放或贬斥①。这些人当初为了自保不敢出面为自己的庇护神求情，到如今覆巢之下无完卵。还有那个因去年提议李义府骑马流放而遭贬的薛元超，一年来为了争取回朝猛拍上官仪马屁，这回又因上官仪而遭殃，更被贬到巂州（今西昌）。看来光会钻营还不行，别站错队（运气）也很重要。
废后不成反丢了自家姓名，这件事对高宗中期的政治局面产生了很大的影响：高宗的性格圆润有余，武后一耍手腕他就象一团面泥一样可以捏来捏去；关键时刻还出卖了自己最亲信的、也是对自己最忠诚的大臣，致使人家遭受灭族之灾！这样一来，除了极少数能真正一心为国、不顾身家性命的社稷之臣之外，大多数朝臣不敢再支持这个“翻脸比翻书快”的高宗，来和武后斗。那不是拿自己全家男女老少的性命，往那个能力非凡且心毒手辣的武后手里送吗？这就怪不得此后很长时间里大臣们都不再直接向皇帝进谏了。虽然他于这年年底，任命乐彦玮和孙处约这两个相对亲信自己的、非武氏一党密切的大臣为相，也无法挽回这个结果。