李渊原来让王威与自己一起对付历山飞，以王威带领羸弱之兵抵挡变民大军，又让高君雅北上马邑，协助王仁恭，其实二者有异曲同工之妙，都是想借刀杀人，趁机除掉二人，但是，事与愿违，二人竟然都是死里逃生，致使李渊的奸计落空。二人当然对李渊也是疑虑重重，此时，当他们见招募的军队迅速增加，又开始怀疑李渊怀有异心，遂对武士彟说道：“长孙顺德、刘弘基等人都是躲避东征的逃兵，罪当处死，岂能让他们领兵？我将派人将其逮捕审判！”武士彟连忙劝阻道：“他们都是唐公的客人，如果这样的话，一定会惹来大麻烦！”王威等人这才作罢。留守司兵田德平想劝王威调查招募军队的详情，武士彠劝阻道：“讨捕兵全部隶属于唐公，王威、高君雅管不着，只是陪坐一旁而已，又能有什么作为？”田德平也就打消了原意。
高君雅在马邑失利后，李渊当时就想以军法处置他，但因此人是隋炀帝的亲信，李渊担心受到隋炀帝的猜忌，所以一直隐忍未发，而高君雅性格刚愎自用，对李渊也不服气，常与王威暗中搜罗李渊的把柄。
王威和高君雅见李渊可能要举兵造反，遂暗中策划在太原城南的晋祠举行祈雨大会，在会上，将李渊拿下。晋阳乡长刘世龙与高君雅关系挺好，后裴寂把他又引荐给了李渊，刘世龙就将高君雅等人密谋告诉给了李渊。李渊说道：“这些人愚昧无知，看不清世事，一定会自取灭亡。千万不要多言，我自会处理他们。”于是，李渊决定将二人除掉、举兵。
五月十四日夜，李渊派遣长孙顺德、赵文恪等人率领五百名兴国寺的兵，交由李世民指挥，提前埋伏在晋阳宫城东门左边。第二天清晨，李渊与王威、高君雅一起坐在大堂上办公，这时，刘文静禀报说开阳府司马刘政会有机密事务请求晋见，李渊命刘文静将其带了进来，刘政会站在院内。李渊示意让王威等人下去取来状子，刘政会却不肯交出，大声说道：“所告之事涉及副留守，只有唐公才可以看！”李渊故意装出一副非常吃惊的样子，说道：“怎么会有这等事！”遂拿来状子阅读，并自言自语地念道：“王威、高君雅暗地里引来突厥人前来！”高君雅卷起袖子，高声大骂道：“这是要谋反的人想要杀我！”此时，李世民率领的军队已经塞满街道，刘文静与刘弘基、长孙顺德等人一起把王威、高君雅拿下，投入了大牢。
就在二人被投入大牢的第三天，即五月十七日，在晋阳郊外突然出现了数万突厥骑兵，突厥轻装骑兵已突入晋阳外城的北门，又从东门出了晋阳。李渊下令裴寂、刘文静等人整顿军队，做好防御，而命令大开各个城门，城上也不插旗帜，突厥人不知就里，始终不敢冲进内城来。李渊又派部将王康达率领一千多人与志节府鹰扬郎将杨毛等人偷偷前往北门埋伏，告诫道：“等突厥人过完，劫掠他们的马群，以充军用。”但突厥人很多，李渊登上晋阳宫城东南城楼眺望，从清晨一直到中午，突厥骑兵扬起的烟尘一直不止。王康达等部将士都非常骁勇，得到中午时分，他们觉得突厥大队人马已经过完，遂出来抄掠马匹，结果，被突厥人前后夹击，将隋军逼到汾河，大部落水淹死，只有杨毛等一二百人游泳得以生还。晋阳城内军队本来就不多，这一下子又损失了一千人，城内一片恐惧。晋阳军民都认为是王威和高君雅召来的突厥人，对二人更加痛恨，于是，李渊下令把二人斩首示众。
见大家一片惶恐，李渊神色自若，他对众人说：“当今天下盗贼充斥，我深受文皇帝厚恩，打算与各位建立大功，刚想起兵，就遇上王威、高君雅阴谋作乱，我怀疑他们私通外国，谁料想刚把他俩逮捕两天，突厥果然深入太原。这是上天要替我来惩罚罪人，如果不是这样，突厥何从而来？既然上天替我派突厥来了，也会为我把他们送走，他们如果不走，我将与诸军一起把他们赶走，大家就不要多虑了！”
李渊见众寡不敌，就趁夜从城内派出军队，命令他们在城外占据险要，白天则大张旗鼓从另一个方向再进入城内；他还告诫将士们，一旦远远见到突厥人，就要赶紧占据险要，不得与敌人交战，如果发现敌人退去，也千万不得追赶，以给突厥人造成隋军援军到来的假象。突厥人在城外停留两日，最终不敢强攻晋阳，撤离北去。李渊这次空城计堪比演义中诸葛亮的那次。
这次突厥入寇，来得这么及时，不能不令人怀疑他们是不是李渊召来的？对此，史无明文，但从接下来发生的李渊与突厥人之间的合作推测，不排除有这种可能性，但由于这事太不地道了，有损李唐王室的形象，即使有，史书也是会删掉的。
李建成和李元吉丢下他们的同父异母弟弟李智云，独自从河东赶往太原，李智云被官吏逮捕送到了长安，被阴世师杀害，年仅十四岁。其实，李元吉与李智云年龄相同，说李智云年少只是一个借口罢了。李建成和李元吉在途中遇到了柴绍，李建成说：“官府追捕很急，不如依附强盗，能更安全一些。”柴绍说：“不可。强盗们知道你是唐公的公子，一定会将您抓起来邀功请赏，不如火速赶往太原。”六月初，三人一起赶到了晋阳。
在太原起义中，李渊、李世民父子，一个镇定自若，一个奋发有为，相得益彰，尤其是李渊在整个过程中一直起着主导作用，正与旧史记载的相反，正如王夫之在《读通鉴论》中说的那样：“人谓唐之有天下也，秦王之勇略，志大而功成，不知高祖慎重之心，持之固，养之深，为能顺天之理，契人之情，放道以行，有以折群雄之躁妄，绥民志于未苏，故能折棰以御袅尤，而系国于苞桑之固，非秦王之所可及也。”