杨广暗中派遣和他关系亲密的大臣宇文述、杨素等人在杨坚夫妇面前百般诋毁太子杨勇。
太子本性直率，不知矫饰，容易发怒，形于言表，隋文帝渐有废杨勇之意。
杨广当上扬州总管后，借入朝还镇的机会与母后独孤氏道别，装出十分依依不舍、万分可怜的样子，伏地流泪不止。独孤后也泣然涕下。
杨广趁此机会大倒“苦水”：“儿臣非常看重兄弟情谊，不知哪里得罪太子，一直想杀掉我。每想到我自己不知哪天被毒死害死，真是恐惧得不得了。”
独孤后闻言大怒：“杨勇太过分，我给他娶的元妃他一点也不爱念，专宠云妃，还下毒毒死元妃（其实是心脏病发而亡）。我现在活着他还这样对待你，哪天我死了他不知怎样害你们兄弟呢。等你父皇驾崩以后，想到你们兄弟得向那个云妃小妖精拜跪称臣，为娘我真是心如刀绞！”
杨广闻言再拜，呜咽不止。独孤后也抱持着儿子大哭。
由此，独孤皇后已经下了废掉杨勇的决心，日夜不停在杨坚面前说杨勇坏话，杨素等大臣也推波助澜，加之杨勇在冬至于太子宫中张乐接受百官朝贺，犯了大忌，老皇上最终也决定废嫡。
公元600年，冬十月，杨坚派人召杨勇入殿。心力交瘁的太子闻命大惊，问使者：“不是要杀掉我吧？”
他进宫后，发现父皇戎服陈兵，百官肃立。杨坚开金口，废掉太子杨勇，押回东宫看管。立晋王杨广为太子，并命杨广负责看押杨勇。
一番苦心，终未白废，杨广终于由晋王成为皇储。杨勇当廷被废，泣下沾襟，只言自己罪过，拜辞而去，竟无一言反讦二弟杨广，由此，可见杨勇仍是一个宽仁忠厚之人。反观李世民太子李承乾，被废后鱼死网破，死咬四弟李泰，最终两人同归于尽，才得懦弱的高宗李治成为皇太子。
可以推论，假如杨勇继位，隋朝不至于二世而亡。
杨勇被囚于府内，渐感冤屈，几次上书诉冤。杨广命人把书信全部销毁，不许上闻。
杨勇爬到树顶大声叫屈，希望老皇上听见自己的声音，亲自讯问。但杨广的心腹、大臣杨素趁机上奏说杨勇得了神经病，胡喊乱叫，不能治愈。
杨坚听信此议，就没有再给杨勇诉冤进见的机会。
602年八月，皇后独孤氏病逝。太子杨广进宫拜见父皇时，哀恸气绝，装出万分悲痛的样子。回宫以后，他饮食欢笑，一如常日。为了表示思母过哀，饮食不思，杨广对外声称每天只吃两勺米，在灵前嚎哭跪伏，私下派人精制猪鱼肉脯，装在竹管里以蜡封口藏于袖中，瞧见没人就吃上几口这特制的“压缩干粮”，继续演戏。
独孤皇后死后，压抑一辈子的老皇帝终于有机会一畅其情，天天搂着宣华夫人陈氏和容华夫人蔡氏大搞天地一家春。
老房子起火，没两年就淘虚了龙体，疾病大生。
杨广作为皇太子入居大宝殿，杨素等大臣入内殿侍疾。
根据马总的《史通》记载，杨广不放心父亲弥留之际会发生什么变化，秘派人问杨素内宫父皇的病状。杨素把老皇帝的病情一五一十写明，封上信口回送杨广。送信的宫人转了几道手，误以为是送给皇帝的上奏，呈给杨坚。病危的杨坚见信后又恨又悔。忽见陈夫人进来时神色慌张，就问缘由。陈夫人回答：“太子无礼！”原来是陈美人出去更衣时，差点被杨广强奸。老皇帝闻言，一口气上不来差点气死，大叫：“畜生何足付大事！独孤皇后误我！”就召唤身边的大臣杨述、元严说：“呼我儿来见！”两人以为是召杨广，老皇帝忙说：“是杨勇！”杨素知道这事，马上告知杨广事急，矫诏逮捕杨述和元严，命杨广心腹张衡入侍，禁止宫内一切人员出入。不久，隋文帝就崩了。更玄乎的是，《史通》载，“（杨素）令张衡入拉帝，血溅屏风，冤痛之声闻于外，（帝）崩……”
此种记载，类似演义，极力铺陈老皇帝不是善终。
唐朝魏征等人编纂的史书虽不是特别令后人信服，对于文帝的死亡记载应该多有可信之处：“（仁寿）四年春四月乙卯，上不豫……秋七月乙未，日青无光，八日乃复……甲辰，上以疾甚，卧于仁寿宫，与百僚辞诀，并握手歔欷。丁未，崩于大宝殿，时年六十四。”
唐太宗特别注意自己和大唐皇家的历史形象，常常自己查看史书记述（哥们连自己的起居注都看），对于杨广这位表叔，自然要大加鞭挞。这样，才显得唐朝的得手应天顺人。即便如此，唐臣也记载老皇帝临死与百官辞诀，应该是善终，并非为太子杨广所弑。
纵观隋文帝杨坚与独狐皇后所生的五个“真兄弟”，父子相忌，兄弟相屠，金枝玉叶皆雕零殆尽。
太子杨勇被废，忽忽如狂。炀帝继位，马上伪造隋文帝遗诏，赐死大哥杨勇。杨勇有十个儿子，皆为二叔炀帝所杀；
老二杨广，大名鼎鼎隋炀帝，结局在此自不必赘述；
老三秦王杨俊，少年时代“仁恕慈爱，崇敬佛道”，长成之后，逐渐奢侈，盛治宫室，广敛民财，违越制度。杨俊王妃崔氏虽为大族之女，嫉妒成性，见夫君好色，罕来己房，便于瓜中下毒，想把丈夫毒死。毒药分量是没下够，把杨俊弄得半残。隋文帝知道消息，征杨俊入朝，免去实官，软禁于京，同时赐死胆大包天的崔氏。病榻緾绵，杨俊颇有悔悟，上表向父皇谢罪。杨坚不仅不安慰要死的儿子，反而下诏“切责之”。惭怖之下，杨俊终于死去。虽不算善终，也称得上是“安死”。杨俊有两子，杨浩、杨湛。宇文化及弑隋炀帝后，曾让杨浩当过数日“皇帝”，后来觉得没用，就把两兄弟全部杀掉；
老四蜀王杨秀，少有胆气，容貌瑰伟，美须髯，多武艺。不知为何，隋文帝很厌恶他，常对独狐皇后讲：“杨秀必不得好死。我活着的时候他不敢闹事，等他哥哥当皇帝后这小子肯定要造反。”杨秀自己也不捡点，在蜀地违犯制度，车马穿戴和天子一样，真是关起门来做皇帝。大哥杨勇被废，二哥杨广成为皇太子，杨秀意甚不平。杨广闻知，指派杨素向老皇帝进言，搜集罪状，说四弟有异心，把杨秀征还京师，锁进大牢。盛怒之下，杨坚愤言：“当斩杨秀于市，以谢百姓！”杨广火上加油，派人做两个小木人，分别写上杨坚和汉王杨谅的名字，缚手钉心，令人埋之于华山下。然后，杨广指派杨素等人把偶人挖出，诬称杨秀所为。杨坚暴怒如狂，马上废杨秀为庶人，禁锢终身，诛杀他手下数百僚属。炀帝继位，仍维持对四弟“无期”徒刑的原判，巡行各地时总把杨秀押在队伍之中。宇文化及弑逆，杨秀与诸子也被杀。可怜这个英武刚锐的大好青年，一直窝窝囊囊的成为笼中之兽；
老五汉王杨谅，特为杨坚宠爱。开皇十七年，出任并州总管，老皇帝亲自出宫饯送。这个官职管的地方大，自山以东，至于沧海，南拒黄河，五十二州皆隶属杨谅管辖。大哥杨勇被谗废后，杨谅居常怏怏，阴有异图。他以防突厥为名，缮治甲兵，大发器具。杨坚死后，隋炀帝征杨谅还京。杨谅在南陈旧将萧摩诃等人协助下，扯旗造反。可惜的是，杨谅无远谋，无胆识，又不听手下文臣武将的谏劝，很快就被隋炀帝派来的老将杨素击败。穷蹙之下，他只能出降。押送京师后，隋炀帝假意说自己兄弟无多，饶杨谅一命，对他只是除名为民。随后，炀帝就把这位五弟幽禁，活活饿死。杨谅只有一子杨颢，宇文化及大杀宗室时也遇害。
因此，史官叹道：“高祖之子五人，莫有终其天命，异哉！”
唐朝魏征对于隋文帝，有褒有贬，在夸了他养民节俭、宾服四夷等历史功绩后，也言之凿凿，批评了杨坚的猜忌、疏亲和寡恩：
“（隋文帝）素无术学，不能尽下，无宽仁之度，有刻薄之资，暨乎暮年，此风逾扇……听哲妇之言，惑邪臣之说，溺宠废嫡，托付失所。灭父子之道，开昆弟之隙，纵其寻斧，剪伐本枝。坟土未干，子孙继踵屠戮，松槚才列，天下已非隋有。惜哉！迹其衰怠之源，稽其乱亡之兆，起自高祖，成于炀帝，所由来远矣，非一朝一夕……”
隋文帝杨坚，为帝二十四年，崩年六十四岁。如此惨毒阴狠之人，也有一首四言小诗流传于世，虽诗意很不吉利，充满夭殇气息，然伤恻哀婉，清丽可观：
红颜讵几，玉貌须臾。
一朝花落，白发难除。
明年后岁，谁有谁无？
——《宴诗》
此诗是老爷子在开皇十年（公元594年）巡幸并州与秦王杨俊与大臣王子相欢饮时所做。惨丽诗意，氤氲缠绵，转年，陪宴的王子相病死。八年后，秦王杨俊也离世。
寒鸦飞数点 流水绕孤村
——隋炀帝杨广的功业与可悲下场
岭南七月，酷暑如蒸。一夕，笔者沉湎黑甜之乡，忽梦一身着古代帝王礼服的美男子，其人头戴通天冠，冠前昂竖金博山，身着绛纱袍，面色白皙，剑眉朗目，唇激朱，齿编贝，长身玉立，倜傥风流。
挥洒岸然之间，此人走上前来，教我用毛笔写小字，诗曰：“梅花飞数点，流水绕孤村。”写了数次，我均执不好毛笔，无法写就……一着急，忽然梦醒。
早晨，昏噩之余，忽然忆起此梦，顿足恍然：原来是近日想写隋文帝、隋炀帝父子，日有所想，夜有所梦，把隋炀帝的两首诗在梦中混记一起。
当然，笔者大可无厘头地炫言是隋炀帝“托梦”于我，如此，凝神费思肯定沦为荒诞不经，会贻笑于大方之家了。