十五、废黜高颎
在前线隋军取得一个接一个胜利的同时，后方隋朝宫廷内部的斗争却日趋白热化了，而这条主线其实与皇太子杨勇岌岌可危的地位有着直接的关系。
从开皇十一年皇太子妃元氏突然死后开始，独孤皇后就已经对皇太子杨勇心存不满了，此后，杨勇还不知忌讳，他的奢靡也令隋文帝渐渐对他失去了信心，暗中产生了废黜太子的打算。一次，隋文帝有意无意地问高颎：“有神灵告诉晋王妃说，晋王终当拥有天下，你说该怎么办呢？”高颎当即跪倒在地，说道：“长幼有序，岂能轻易废黜太子？”隋文帝听后，沉默不语。
显然，隋文帝的问话是经过深思熟虑的，也是与独孤皇后二人商量好了的，其目的就是想探听一下高颎的立场。高颎的儿子高表仁娶了皇太子杨勇的女儿，高颎与杨勇是儿女亲家，论公论私，高颎自然都坚决地站在了皇太子杨勇的一边。
高颎的态度也注定了他的结局，而实际上，他的这一坚决捍卫皇太子的立场已经让他在无意之间得罪了很多人。
首先当然是企图废黜皇太子杨勇的隋文帝和独孤皇后。高颎最初得以接近隋文帝还是由于与独孤皇后家特殊的关系（高颎之父曾为独孤信的下属），而高颎本人个人能力又非常出色，他不仅文韬武略，满腹经纶，而且还亲贤爱士，一心为国，因此，一直受到隋文帝和独孤皇后的信任。虽然右卫将军庞晃、将军卢贲、尚书都事姜晔、楚州行参军李君才等人屡屡在隋文帝面前说过高颎的坏话，但隋文帝是一概不听，还惩处了这些人。然而，如今的情况就不同了，隋文帝和独孤皇后已经决定要废黜皇太子杨勇，而高颎却站到了主子的对立面，其处境自然变得非常凶险了。那次调解隋文帝与独孤皇后之间的矛盾，也让高颎在无意之间得罪了独孤皇后。当时，为了解劝隋文帝，高颎曾说过一句“陛下怎能因为一个妇人而轻视天下”的话，言者无心，听者有意。这话中的妇人既可以理解为被杀的尉迟氏，亦可以理解为独孤皇后，但这话传到独孤皇后的耳中，就变成了高颎轻视自己不过是个妇人，遂对高颎一直怀恨在心。
其次当然是一心夺嫡的晋王杨广。高颎与杨广之间本来也有些过节。还是在开皇九年杨广挂名灭陈（实际是高颎指挥）后，色心很重的他早已垂涎陈叔宝的贵妃张丽华的美貌，想纳张丽华为妃，但高颎却下令将张丽华斩首，杨广非常不满。如今，高颎又站在杨勇一边，自然就成了杨广的对头。
再次是对皇位同样存有觊觎之心的汉王杨谅。在皇太子杨勇失宠后，除了晋王杨广得到隋文帝的欢心外，汉王杨谅也深受隋文帝的青睐。《隋书》称：“十九年，突厥犯塞，以谅为行军元帅，竟不临戎。高祖甚宠爱之。”隋文帝决定讨伐高句丽时，高颎极力劝谏，但隋文帝不从，结果隋军大败，后来，独孤皇后又在隋文帝面前打小报告：“高颎原本就不愿此行，陛下勉强让他出征，我就知道是这个结果！”暗示高颎存有奸心，不肯尽力。在讨伐高句丽之战中，隋文帝因汉王杨谅年少，下令将军中事务全权交由高颎处理，可是，高颎一片公心，对杨谅的很多建议都置之不理，也让杨谅深怀不满。等到杨谅回京后，向独孤皇后哭诉说：“儿子侥幸没有被高颎给杀了！”隋文帝听了，更是不悦。杨谅的话自然是一派胡言，高颎即使再胆大包天，也是不敢擅自诛杀亲王的，但隋文帝竟然或者装作信以为真了。
既然高颎铁了心跟定杨勇，那么，处置二人就该同时进行了。
隋文帝下令把东宫卫队中的骁勇战士都挑选出来充实皇宫卫队，此举显然是一种预防措施，但高颎反对道：“如果全部挑选勇士，恐怕东宫卫队的力量会单薄。”隋文帝听后，脸马上沉了下来，说道：“我时不时要出外，禁卫军士兵们自当强健。太子身处东宫，培育德行，身边要勇士有什么用！在东宫配备强大的卫队，这本来就一种陋习。如果按照我的意思，在禁卫军轮调的时候，分出一部分军队护卫东宫即可，这样一来，就不存在皇宫卫队与东宫卫队的区别了，这岂不是更好？我已熟知前代的事情，你不要总固步自封了！”削弱太子杨勇身边的武装力量，已说明废黜太子一事已箭在弦上了。
高颎的夫人病死了，独孤皇后对隋文帝建议说：“高仆射年事已高，夫人又死了，陛下怎能不替他再娶一个？”隋文帝把皇后的话转告给高颎。高颎流着眼泪道谢说：“如今臣已经老了，退朝之后，只不过在斋房内诵读佛教而已，虽然陛下对我关爱有加，但说到再娶，我还是不愿意啊。”隋文帝就没再坚持。但不久，高颎的爱妾却替高颎生下了一个男孩，消息传来，隋文帝非常高兴，但独孤皇后却十分不满。隋文帝问她缘故，独孤皇后说道：“陛下以后还能再相信他高颎吗？开始的时候，陛下要替高颎再娶一个妻子，而高颎心里只有他爱妾，才当面欺骗陛下，说出不愿再娶之类的话，如今，他的谎言已被戳穿，陛下岂能再信任此人！”从此以后，隋文帝开始疏远了高颎。
等到隋文帝发兵讨伐突厥时，高颎率军从白道川出发，将深入沙漠追击敌人，派人进京请求增派军队，这时，就有人诬陷高颎将要谋反，隋文帝还未做处理，高颎就击败突厥回师了。宜阳公王世积担任凉州总管，他的亲信皇甫孝谐犯了法，逃到王世积那里避难，但王世积却不接纳。皇甫孝谐大怒，等他被判决流放桂州后，就反咬一口，诬告王世积将要谋反，称：“王世积曾经让道人给自己看相，道人回答：‘大人将成为国主，还将来到凉州。’他的心腹对他还说：‘河西是天下精兵所在，能建立一番大业。hong王世积回答：‘河西地广人稀，不是用武之地。’”隋文帝不问青红皂白，即下令将王世积斩杀，提拔皇甫孝谐为上大将军。
在处理王世积一案中，涉及到一些皇宫内部的机密，说是从高颎那里传出来的，隋文帝听后不禁大惊失色。有关部门又上奏称：“高颎以及左右卫大将军元旻、元胄，也与王世积勾结，接受王世积馈赠的名马。”元旻、元胄被隋文帝免去了官职。上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人证明高颎无罪，隋文帝大怒，将他们全部打入大牢，自此，朝廷群臣无人敢再替高颎鸣冤了。
八月十日，隋文帝下诏免去了上柱国、尚书左仆射，以齐公的爵位回家闲居。
当时，秦王杨俊还没有去世，在病重期间，隋文帝驾临秦王府邸，召高颎赴宴。高颎见到隋文帝后，禁不住哽咽流泪，悲不自胜，独孤皇后也难过得流下泪来。隋文帝对高颎说：“朕没有对不起你，是你对不起朕。”而后，他对身边的近臣们说：“我对高颎比对我的儿子们还亲，即使他看不到他，他也好像总在我的面前，但自从免去了他的官职以后，我就把他忘记了，仿佛这个世界上从来就没有高颎这个人一样。身为臣子的不该以自己的才能来要挟君主，自以为自己就是天下第一了！”
树倒猢狲散。
这世界上缺乏的是雪中送炭之人，却永远也少不了落井下石之徒。不久，高颎的国令（王公府总管）就站出来，揭发高颎家的隐私，他上书称：“高颎的儿子高表仁对高颎说：‘司马懿开始的时候称病不朝，后来终于得到了天下，大人如今这样，焉知非福？’”接到国令的报告，隋文帝勃然大怒，下令将高颎关押在内史省中审讯。有关官员又上奏称：“真觉和尚曾对高颎说：‘明年国家将出现大丧。’令晖尼姑也说：‘十七、十八年，皇帝有大灾，难以躲过十九年。’”隋文帝听了，更加恼火，对群臣说道：“皇帝宝座全由天意，人力岂能强求？孔子是何等伟大，还没有得到天下，他高颎与儿子说的话，自比为晋朝皇帝，这是何等险恶之心啊！”有关部门请求将高颎斩杀，隋文帝说道：“去年，我杀了虞庆则，今年，已经杀了王世积，假如再杀掉高颎，天下之人又该怎么说我呢！”于是，把高颎削职为民。
高颎刚当上尚书左仆射时，其母亲就曾告诫他说：“你已经非常富贵了，就差砍头了，你要谨慎小心才是。”因此，高颎总是担心哪天会大祸临头，等到如今被免官后，高颎不仅没有丝毫怨恨之情，以为就此可以免去那场命中注定的灾祸了，因而内心还十分高兴。过去，国子祭酒元善曾对隋文帝说过：“杨素粗心大意，苏威胆小如鼠，元胄、元旻就像个呆头呆脑的鸭子一样，能够托付国事的，只有高颎一人。”隋文帝当时深以为然，但等高颎出事后，隋文帝把元善狠狠地数落了一番，元善忧愁恐惧，不久就死掉了。李彻也因与高颎私交很好，也受到牵连被罢职在家。
苏威、杨素、贺若弼、韩擒虎等人，都是高颎引荐的，但当高颎出事后，在这四人当中只有贺若弼一人证明高颎无罪，韩擒虎已死不提，杨素是晋王杨广一党，自然不会替高颎说话，而苏威又是一个怯儒之人，也不敢站出来仗义执言，而贺若弼早已被隋文帝疏远，说话根本没有多少分量，当然也起不到任何效果。
高颎是隋朝第一名相，他执政二十年，与开皇年间相始终，开皇之治，与高颎的努力密不可分。高颎政治生命的结束，也就意味着开皇之治的终结，隋王朝将步入由盛转衰的下坡路了。