这些改朝换代的谶言，也令隋炀帝坐卧不安，这时，有一个名叫安伽陀和尚自称通晓谶言，对隋炀帝说：“将会出现一个姓李的人当天子。”并劝隋炀帝把四海之内凡是姓李的人全部杀光。显然，安伽陀的建议是根本不可能做到的，隋炀帝还没糊涂到因为一句谶言而诛杀那么多无辜的人，笃信佛教的他也不可能去这么做，但安伽陀的话又不能不让隋炀帝对姓李的人格外猜忌。因表兄弟李渊相貌奇特，又姓李，与谶言相符，所以隋炀帝暗中对他非常猜忌。一次，隋炀帝下诏命令李渊见驾，李渊称病没有及时赶到，当时，李渊的外甥女王氏是隋炀帝后宫的嫔妃，隋炀帝问道：“你舅舅为何来迟？”王氏回答舅舅生病了。隋炀帝脱口而出：“能病死吗？”这话传到李渊耳中，李渊非常害怕，遂沉湎于酒色之中，并向隋炀帝身边的近臣行贿，以保全自己。
另一个让隋炀帝猜忌的就是他的外甥女婿李敏。
如前所述，李敏是北周宣帝皇后、隋炀帝的大姐杨丽华的女婿。杨丽华与北周宣帝宇文赟只有一个女儿宇文娥英，既是寡妇，又失去皇权的杨丽华生前对自己的这个宝贝女儿爱如至宝，爱屋及乌，也对女婿李敏疼爱至深，而李敏的父祖辈也非常显赫。李敏的祖父李贤及其弟弟李远、李穆，他们有的是西魏、北周，有的隋朝的佐命元勋：李贤在西魏时期历任假节、抚军将军、大都督，原州刺史；北周时历任瓜州刺史、河州总管、大将军。宇文泰与李贤关系很好，北周武帝宇文邕和齐王宇文宪小的时候，宇文泰就把他们放到李贤家中，由李贤抚养；李贤有子五人：李端（开府仪同三司）、李吉（仪同三司）、李孝轨（开府仪同大将军）、李询（上柱国、隰州总管）、李崇（上柱国、徐州总管、幽州总管）；李敏就是李崇的儿子。李贤的弟弟李远，在西魏时历任侍中、太子少师、大将军、尚书左仆射、小司寇。北周建立后，进位柱国大将军，后其子李植密谋诛杀宇文护，宇文护逼其自杀。李贤的另一个弟弟李穆，在西魏时也历任显职，后官拜雍州刺史，兼小冢宰，北周建立后，拜骠骑大将军、开府仪同三司、大都督，直州刺史，大司空，太保，原州总管，上柱国，并州总管，大左辅，太傅等。在杨坚与尉迟迥的对决中，李穆站在了杨坚一边，导致杨坚最终夺取了北周政权。李穆有子：李惇（骠骑大将军、开府仪同三司、凤州刺史）、李怡（仪同三司）、李雅（荆州总管）、李恒（监州刺史）、李荣（合州刺史）、李直（车骑将军）、李雄（柱国、骠骑将军、密国公）、李浑。
如此庞大的家族，已令隋炀帝感到不安了，而这个家族内部却又问题多多。李浑的长兄李惇早死，等到李穆死时，李惇的儿子李筠作为长门长孙，就继承了祖父的爵位。隋文帝仁寿初年，因李筠非常吝啬，李浑对这个成了李家族长的侄儿非常不满，就派另外一个侄儿李善衡把李筠给杀了。有关部门一直找不到凶手，隋文帝大怒，将李家一家全部抓了起来。过去，李筠曾与堂兄弟李瞿昙有私怨，于是，李浑就站出来指证是李瞿昙杀害了李筠，真正的凶手李善衡和幕后主使李浑自己得以逃脱了惩罚。李筠死后，没有儿子，朝廷就开始讨论该由谁继承李穆的爵位。李浑的妻兄是时任太子左卫率的宇文述，他对宇文述说：“如果我能继承爵位，我保证每年会把封国税赋的一半送给你。”宇文述是新任太子杨广的心腹，宇文述就找到杨广帮忙，最终，在杨广的斡旋下，隋文帝终于同意让李浑这个李穆的小儿子继承了爵位。李浑继承爵位后，有钱能使鬼推磨，他的官职也随之得到晋升，升为右骁骑卫大将军，生活也日渐奢侈，后院妻妾上百。开始的两年，李浑还遵守约定，如数送给宇文述钱财，两年后，等到李浑地位以后，就翻脸不认人，不再给宇文述钱了。宇文述大怒，曾因酒醉对朋友于象贤说：“我竟然被金才（李浑的字）给耍了，我死也不会忘记！”李浑听说后，二人关系开始恶化。
在隋文帝篡夺北周政权之后，曾做梦梦见洪水淹没了都城，心中非常担心，因此，才舍弃了北周长安城，而在原址的南边另建了大兴城，即隋唐时期的长安城。杨玄感叛乱之后，李敏建议加固大兴城，由此，他被任命为将作大匠。后来，有人说李敏的一个名字叫洪儿，隋炀帝立即想起了父亲曾经梦见洪水的事，曾当面告诉此事，希望李敏能自行了断。李敏非常害怕，遂与堂叔李浑、堂兄弟李善衡等人多次暗中密谋，此事被宇文述发现了。宇文述对隋炀帝说：“我与李浑素来亲密，听他经常与李敏、李善衡等人密谋，有时竟然通宵达旦。李浑身为大臣，家族很大，又手握禁军，不该如此。”隋炀帝回答：“你可以暗中调查。”宇文述就致使虎贲郎将裴仁基上书告发李浑谋反，隋文帝当天就命令宇文述领兵查抄了李浑家，并命尚书左丞元文都、御史大夫裴蕴负责审理此案。审理几天，二人一直找不出李浑等人谋反的证据，隋炀帝又换宇文述审理。宇文述把李穆的妻子宇文娥英从狱中唤出，说道：“夫人，你是当今皇上的外甥女，何必担心找不来好丈夫？李敏、李浑的名字上应妖谶，夫人还是好自为之吧。”遂教宇文娥英作证说：“李浑曾对李敏说过：‘你的名字上应谶言，当为天子。今主上穷兵黩武，不惜民力，这是上天要灭亡隋朝之时啊。如果再次发兵征讨高丽，你我必为大将军，每一军将有两万多人，光我们叔侄二人的军队就五万了。我们再调发家族各门的堂兄弟们参军，我们这些李家子弟肯定也会担任其他军队的主将，分领兵马。我们率军偷袭御营，一日之内，即可平定了天下。’”宇文述亲自口授，让宇文娥英书写，然后封上封口，写上“上密”二字，好让隋炀帝觉得这封书信别人没有看过，也没动过手脚。宇文述拿着审理报告和宇文娥英的书信入奏说：“如今我已掌握了李浑谋反的证据，还有一封宇文娥英写给陛下的密信。”隋炀帝读完，禁不住流下眼泪，他哭着对宇文述说道：“我家社稷险些就倾覆了，幸赖亲家公你才得以保全啊！”于是，隋炀帝下诏诛杀了李浑、李敏、李善衡以及李氏宗族三十二人，其余三亲等以内的亲戚全部流放到边疆。数月之后，隋炀帝又将外甥女宇文娥英毒死了。
《资治通鉴》称，李敏被杀是大业十一年三月丁酉日，而《隋书·炀帝下》则称是该年五月丁酉日，相差了两个月，不知何者为是。另：据《隋唐嘉话》卷一称：“隋文帝梦洪水没城，意恶之，乃移都大兴。术者云：‘洪水，即唐高祖（指李渊的渊字）之名也。’”