韩瑗、来济两位宰相被贬，顿时空出来侍中和中书令两个关键的位置，仅四天之后，许敬宗便做上了门下省最高行政长官侍中。他经过三十年的无耻钻营，六十八岁时终得和李义府同时为相了！李义府掌握中书出旨权，许敬宗掌握门下封驳权，二人联手控制了中书、门下，敕令通达不在话下了。
李义府是个无赖小人，当上中书令就狂了，变本加厉地卖官鬻爵，大捞黑钱，他的他老母、妻子、儿子、女婿都发动起来受贿，到他家走门路的人不绝于途。他本来出身贫寒，唐代又特别讲究门阀出身，所以当他为相之后，就妄称自己出于历史名门――赵郡李氏，赵郡李家也乐得多这么一个权倾朝野的“本家”，那些赵郡李氏的无赖之徒很多人都认他做“本家”叔叔或兄弟，然后就可以横行不法。
同为中书令的杜正伦是李义府的同僚，资格远比李义府老，所以总想摆点老资格，但小人得志的李义府却丝毫不愿落下风，于是两人产生了矛盾。一次，两人在高宗面前互相攻击，争吵了起来，高宗一生气，就把李义府贬为普州（今四川安岳县）刺史，把杜正伦贬为横州（今广西横县）刺史。杜正伦不久就病死在了横州刺史任上。李义府也遇到了一件很恶心的事情：本来赵郡李氏出身的给事中李崇德已经认他是本家，也把他写到了自己的宗谱之上，现在见李义府罢相，竟然又把李义府的名字删除了。李义府知道这件事之后，那种气恼和羞辱的感觉不言而喻。
当时的吏部尚书唐临是长孙一派的人，他见李义府被贬出京外，大为兴奋，想趁机扳回局面。他把素与李义府不和的张伦，调为剑南道（今四川云南一部）巡察使，准备好好收拾一下李义府。同时，还保奏与来济关系不错的许炜为江南道巡察使，以保护被贬在台州的来济，等待将来翻身的机会。也许是他动作有点大了，被武皇后发觉，她对高宗说：“唐临玩弄权术，私自选人授官，朝中对此多有议论，为了朝廷安稳，还是罢免了他吧。”高宗觉得有理，立刻贬了唐临的官，断了长孙无忌一派最后的幻想。不久唐临就死在了潮州刺史任上。十一月，武皇后又提议，让许敬宗接任李义府空下的中书令之位，另派大理寺卿辛茂将兼任侍中。这位新贵辛茂将，出身于与关陇大族相对立的寒门小户，是许敬宗的心腹。
这年（显庆三年，即公元658年）的年底，尉迟敬德病死在家，死后极尽哀荣；褚遂良病死在被贬的爱州，死得孤单凄凉。褚遂死后约有半年，即显庆四年（659年）四月，高宗和武后终于对长孙无忌本人动手了。借口很蹩脚，也很常见，有个叫李奉节的洛阳人，出头告发太子洗马（东宫掌图书的官员）韦季方、监察御史李巢，说他二人勾结朝中权贵，朋党而营私。这是个“说你有，你就有”的罪名，何况官场关系从来盘根错节，谁都有人际关系上的渊源。所以这类告发，一般都是别有图谋在。朝中权贵，所指为谁，在当下不言自明。两《唐书》的编者均认定，这就是许敬宗事先策划好的打击方案。高宗接到这个白丁的举报后，居然下诏让许敬宗、辛茂将负责审理此案。（一介平民居然告发朝中官员结党，而且皇帝马上就立案，这都很蹊跷。）许敬宗自感得到机会，故意扭曲案情，严刑拷打韦季方，要求他诬陷长孙无忌谋反。许敬宗本来想按照长孙无忌诱供房遗爱将李恪罗织入罪的手法，来个以彼之道还施彼身。可韦季方明白自己一松口就是满门抄斩的罪名，怎么打也不承认。许敬宗炸严刑逼供，韦季方受刑不过，意欲以死相抗，还好给抢救了过来。许敬宗见韦季方死活不招供，就趁他伤重不能说话的时候，向高宗呈报：韦季方勾结长孙无忌意图谋反，奸谋败露后想畏罪自杀。消息传开，举朝震惊。高宗近几年虽与舅舅渐行渐远，但万没想到会有阴谋在身边酝酿。他刚开始的反应，果然就是不信，让新任侍中辛茂将去核实。这位新贵辛茂将，是许敬宗的心腹，他的复核结果，当然是确有其事。高宗还是不信。许敬宗知道，“以疏间亲”的风险极大，现在骑虎难下，必须要扳倒对方，所以嘴相当硬：“事情确实如此，如果陛下不信，江山危矣。”唐高宗又是落泪、又是哭诉地表演了一番，竟然不把长孙叫来问问，就下诏削其太尉官爵与封邑，以扬州都督身份安置到黔州（今四川彭水县），但仍按一品官员的待遇供给饮食。
长孙无忌这个决口一被打开，总清算的浪潮就势不可当。许敬宗趁势再奏：“无忌谋逆，是由褚遂良、柳奭、韩瑗构扇而成的，柳奭还和宫掖中人勾结，谋行鸩毒皇上。于志宁也党附无忌，应该治罪。”于志宁早在皇后废立之争时持中立态度，但也逃不掉。接下来的整肃，犹如铁碾滚过：高宗下诏，追削褚遂良的官爵，连已故爱州刺史也不是了。除去柳奭、韩瑗名籍，免掉于志宁的官职。长孙无忌上路期间，沿途发兵遣送。扫荡了关陇大僚本人，再扫荡亲属和裙带关系。褚遂良的儿子彦甫、彦冲流放爱州，在半途中双双被杀。长孙无忌之子、秘书监、驸马都尉长孙冲除名，流放岭南；族弟长孙诠流放巂州（今四川西昌），到了流放地后，被县令杖杀；外甥高履行由益州长史再贬为洪州（今江西南昌市）都督，不久又贬为永州（今湖南零陵）刺史。还有一个人的命运令人感叹。凉州（今甘肃武威）刺史赵持满，力大善射，性喜豪侠，他姨母是韩瑗的妻子，他舅舅是长孙无忌的堂弟长孙铨。许敬宗也诬陷他与长孙无忌同反，把他召到长安，用尽酷刑。但赵持满咬紧牙关不承认，狱吏只得代写供词结案，后被下诏诛杀，亲戚都不敢去收尸。他的朋友王方翼去受葬他，官军把他抓了起来，上报高宗。好在高宗赞赏他的义气，没有加罪。（王方翼文武双全，后来受裴行俭提携而成为屡立战功的名将，但终因是已废王皇后的娘家人而终生不得重用。）
七月，皇帝再度下令，命李勣、许敬宗、辛茂将和新拜相的兵部尚书任雅相、度支尚书卢承庆（这个卢承庆在永徽年间受过褚遂良的恶意诬陷和连续打击，接连被贬，后来高宗在武后的提议下起用他，应该是看中了他和褚遂良、长孙无忌的矛盾）五位，共同复查长孙无忌案。实际上是想对本事件有个最终的结案陈词。李勣对此事始终不肯积极参与，其他人都是许敬宗的属下和才提拔上来的新贵，一切为许敬宗马首是瞻。要审案当然是要先提审犯人，于是派袁公瑜快马至黔州提审长孙无忌。袁公瑜，便是主张立武氏为后的六位翊赞功臣之一，告密致使裴行俭被贬出京的那一位。袁公瑜一到黔州，便逼令长孙无忌自缢－杀人灭口就不用审了，罪名是“畏罪自杀”。接着圣旨命御史往高州追长孙恩，象州追柳奭，振州追韩瑗，将三人批枷带锁押送至京师。使者刚刚上路，新的命令又下来，改为原地处死（估计是武皇后的主意）。于是将柳奭就地处死，另一位使者来到振州，才知道韩瑗早已亡故，掘墓验尸证实无误方才罢休。这三人之中，唯有长孙恩逃得性命，改判流放檀州（今北京密云县）。长孙、柳、韩三家受牵连被贬降者，计有13人；中间派于志宁也被贬为荣州刺史，亲属被贬者9人；几大宰相中，只有来济的命运稍好一点，他当初被诬告时，罪名只是与褚遂良一起煽动长孙无忌不满，没说他参预“谋反”，因此得免一死。次年从台州再贬为西域庭州（今新疆境内）刺史，后来突厥进犯时他不穿盔甲冲入敌阵而死，其实也算自杀。
一个月后，普州刺史李义府调回长安，兼吏部尚书、同中书门下三品。小人总是睚眦必报的，他回到相位后，立即指使人诬告那个把自己从赵郡李氏宗谱上删除的李崇德，把他下狱。这个曾经看风使舵的李崇德见事不好，在狱中自杀。
十一月，高宗提升许圉师担任宰相。同时因另一宰相辛茂将病死，职位出缺；提升度支侍郎卢承庆同中书门下三品。许圉师是进士出身，早已和长孙无忌等关陇大族没有什么关系了，卢承庆更是多次受到褚遂良的恶意排挤。此时，朝中再没有关陇大户出身的宰相，免得长孙余党再距高位。