武则天到目前为止，生有二子。长子是李弘，封为代王，而在当上皇后之前不久，又添了二胎，取名李贤，封为潞王。新皇后有这两个生龙活虎的儿子，要把现任的太子换掉，完全有充足理由。余下的问题，就在于有人出头提出，然后堂而皇之走个程序罢了。
这次第一个跳出来表现的是许敬宗。他揣摩高宗和武后都有此意，自己又是礼部尚书，职权范围内恰好可以说的事，何不抢个头功？于是，在武则天正式当皇后的第三天，许敬宗就上奏，大谈换太子事宜。奏章做得古香古色，大意是说：今之太子，原非嫡子。因为永徽之始，国本（真正的太子）未生，所以从权安排了。现皇后已生子，是为正统，那么皇统问题就不可浮滥。我既然是负责礼仪工作的，便不敢失职，一定要提出来。高宗看后非常高兴，马上召见他，一番夸奖和表演之后，说：“阿忠已有意自让。”谋私利也要披上“天下为公”的外衣，君臣俩的这番对话，好像是一场表情严肃的游戏。这事，就这么定了。
李忠收摊子回家不干了，可作为太子集团，他的甩手离去并没有将东宫势力瞬间化为无形。武则天始终没有停下对权欲的追逐脚步，她开始大肆扶植栽培自己的势力。李义府在武氏刚立为皇后不久，和太子册立之前，就加上同中书门下三品，正式入阁拜相。显庆元年（656年）三月，朝廷又把杜正伦提升为黄门侍郎、同三品。杜正伦当年因为向李承乾泄漏了唐太宗的话，被一贬再贬，官运背到了极点。但他是李勣的故人，现在李勣也要加强自己力量的时候，有必要把杜正伦提升起来。所以，杜正伦为相，极可能是李勣的举荐。
对于立后之后发生的太子废立和人事变更，长孙无忌集团一直采取坐视不问的态度，或者是已被武后的毒辣手段吓呆，或者是明知道劝谏也无用，总而言之他们一直都保持着沉默。至此，高宗御宇七年以来，终于尝到了宸衷独断的滋味。
这时候，李义府惹出了一件事，把一个反击的机会送给了长孙无忌等人。李义府原本一个朝不保夕的小角色，突然跃居宰辅之位后，开始卖官鬻爵，贪赃枉法，欺凌百姓。他看上了一个犯案下狱的洛州美妇人淳于氏，便指使大理寺丞毕正义放人，自己好纳为侍妾。不料此事被人弹劾了，高宗命给事中刘仁轨主持审查毕正义这件事，李义府向刘仁轨求情不成，怕事情泄漏，只好逼毕正义在狱中上吊自杀。后来高宗知道事情原委，仍然不治李义府的罪。李义府从此恨上了刘仁轨，努力寻求机会报复。李义府此时身为宰相，竟然于天子脚下擅杀大理寺丞，侍御史王义方认为这样伤天害理的事情决不能就这么不了了之，坚持提出弹劾，言辞恳切，正气凛然。高宗听完之后却仍然开释了李义府，而且责怪王义方毁辱大臣，言辞不逊，贬为莱州司户。高宗如此公然黑白倒置，纵容迁就，是为了报答李义府当日“打响了第一枪”。
李义府的这件事，对于长孙无忌集团来说，是个反击武氏阵营的好机会。可是长孙无忌、韩瑗并没有加以利用，他们仍然保持沉默。所以我们说，长孙集团这一阶段的应对策略极为不妥，真是“前不应当示强时而示强，后不应当示弱时而示弱”。此时再软弱，也没有回身余地了，反而不如绝地一搏有再生的可能。
武则天并没有因为长孙无忌他们的忍让而停步，而是步步进逼。把长孙无忌的亲戚，一个个调离京城外放。长孙无忌的表弟、太常寺卿高履行（高士廉之子），被派到益州（今四川成都）大都督府任长史；长孙无忌的堂弟工部尚书长孙祥，被派到荆州大都督府为长史。从表面看，这两位部长级人物虽然外放，但所任的职务也非常重要。这两个州，看起来虽然都是天下的显要州郡，然而，天下人都看明白了，这是在砍长孙无忌的左右手！
不仅长孙无忌在朝廷的羽翼被削减，连出征在外的程知节也处处受牵制。这年的年底，程知节的前军总管苏定方打了一个大胜仗，本来应该乘胜追击。但副大总管王文度却出面阻拦，自称受了密旨节制程知节，喝令不许进军。苏定方认为有诈，皇帝既任命程知节为主帅，岂会别传圣旨？要求程知节囚禁王文度，飞表奏明皇帝查清真相。程知节不听，任由王文度胡来，结果贻误了战机，敌酋得以逃窜。而后兵至怛笃城，敌方百姓开城门投降，王文度竟然下令屠城，然后瓜分了他们的财物，除了苏定方之外，连老程都得了一份。程咬金十二月班师回朝后，高宗却说自己并没有给王文度什么密旨，而是王文度假传圣旨！假传圣旨可是无可赦免的重罪，但高宗并没有杀他，只是予以免官（不久又再度起用）；这样，程知节也因为坐失战机、未及时追敌，而被免官。这事前前后后都发生得蹊跷，后世史家怀疑王文度并没有矫诏，而是高宗确实安排王文度去捣乱，阻止程知节立功，并且要让他背负上罪名，借以剪除长孙无忌的羽翼。程知节经历过几十年的政坛风雨，年事已高，早已无复昔日锐气，更不想临老还参与这种政争内斗，应该早就能看出唐高宗的用意了，所以从出征时起就变得懦弱起来，顺从地任人安排，回朝后和和顺顺地免职回家。保住性命就是福气了。
乾坤真的要大挪移了，但乾坤不是握在无忌的手里，而是被一个叫做武媚娘的女子掌握了主动。长孙无忌集团中的人见己方如此被动，终于有人坐不住了，特别是被新皇后点名提到要好好“奖赏” 眼见事态发展越来越不妙，他们急需找回以往的主力战将褚遂良以修补其翼，作困兽之斗。这年十二月，由韩瑗出面（估计是想让最高统帅长孙无忌隐身于后，避开风险，以免目标太大。），为褚遂良讼冤，称褚遂良体国忘家，为“社稷之旧臣，陛下之贤佐”，却无罪被贬，就算他有违忤天子，被贬一年也该够了，希望皇帝能将他召回。高宗此时情绪还好，平静地说：“褚遂良有才有功我都知道，但他性情悖戾犯上，所以要惩罚他。”韩瑗、来济见高宗的话有所松动，便慨然力争：“褚遂良是社稷忠臣，只不过是受到了谗谀之人诋毁。陛下无辜弃逐旧臣，不是国家之福。”高宗听这话说得无礼，脸色就有些不好。韩瑗却不察言观色，一时失口，竟然说：“武皇后就象周朝的褒姒！早晚灭亡大唐，您不要信用她！”高宗闻言勃然大怒吼道：“你下去！”
我估计这个韩瑗退下后，感觉到自己说的有些过了，早晚会招来武则天的报复，就想金盆洗手，不干了，辞官回家以求自保，但高宗不准。想跑，门都没有。
显庆二年（657年）闰正月，高宗带着武后行幸洛阳宫，在这里住了下来，并于当年底宣布洛阳为东都。后世有史家说，因武则天在长安宫中常见王皇后、萧淑妃的鬼魂作祟，故有此避祟之举。而实际上，是因为唐疆土已比前朝有所扩大，政治中心南移，是为便于统治。
到了三月，不知出于什么原因，长孙无忌一派中有人建议高宗，把褚遂良从潭州（今长沙）调到更远的桂州（今广西桂林）任都督，这也可能是为了让他再远离政治中心一些以避祸。高宗批准。他们谁没想到，这一建议会给他们带来多严重的后果。
长孙无忌一派恢复声势步履维艰，与此相对，拥武一派却在一路猛进。三月，李义府被提升为中书令。到了七月，许敬宗、李义府秉承武后意旨，突然诬奏：“韩瑗、来济潜谋不轨，与褚遂良朋党为奸，密谋叛乱。因桂州为用武之地，故要求改授遂良为桂州都督，意在引为外援。”
高宗闻奏大惊，也不管有没有证据，立刻贬韩瑗为振州（今天海南三亚市）刺史，来济贬为台州（今浙江临海市）刺史，并终身不许入朝。褚遂良更是问题的核心，被再贬到爱州（今越南清化）为刺史。王皇后的舅舅虽然已是死老虎，早就贬到荣州（今四川荣县）了，这次也受牵连，再贬到象州（今广西）为刺史。至此，长孙无忌的主要爪牙已被收拾得差不多了，成了砧板上的鱼肉。
褚遂良被贬爱州（今越南），心情恶劣可想而知。他左思右想，再无扳回局面的可能，当初的倔强劲儿早已消失，只有上表乞怜。他先提到了自己为高宗力争皇位的策立之功，回忆了太宗去世时手足无措的高宗抱着他脖子的情景，最后说他现在已经是风烛残年，蚂蚁一样的卑微渺小，乞求皇帝高抬贵手。表上去之后，高宗不理。按理说这表章写得字字血泪，情动于中，高宗不可能无动于衷，之所以没反应，据《新唐书》推断，是“牵于武后”——被她管住了。