当然了，要想完全化解隋炀帝的猜疑，事情远没有这么简单。在这之后，隋炀帝把李渊调离了陇西，让他前往并州，担任河东镇抚大使；不久，又让李渊担任太原留守，负责镇守晋阳。有朋友可能会说了：晋阳是座大城，高欢还曾把该地作为国都呢，李渊离开荒凉的陇西，去大城市晋阳，等于是升官啊，有什么不好？
对于这个问题，必须要结合当时的天下大势来看，如果放在几年前，李渊听说让他出镇晋阳，肯定是欢喜还来不及；可是随着隋军两次攻打高句丽败北，大隋帝国就像一头猛虎患了重病，已经威风不起来了；而该国的夙敌突厥人，这头塞北的苍狼，却靠着十多年的休养生息，以及隋朝慷慨的接济，再次亮出了锋利的爪牙。公元609年，一直亲附隋朝的启民可汗去世，他的儿子咄吉世继承了汗位，史称：始毕可汗。
当初，步迦可汗放弃了全部的土地和部众，西奔吐谷浑，他此举对突厥整个民族来说，是“牺牲小我，成就大我”，启民可汗在步迦可汗的间接帮助下再度统一了突厥，结束了该国长达二十多年的分裂。启民可汗是隋朝的忠实追随者，不管隋朝如何差遣他，哪怕把他派去割草开道，他都无怨无悔，步迦可汗也知道要想打败隋朝，一雪前耻，此人指望不上，所以他下的一盘大棋，关键重点就在于启民可汗的儿子始毕可汗。始毕可汗登上汗位后，如步迦可汗所期待的那样，他一改其父的保守作风，于短短数年间便征服了包括吐谷浑、奚、契丹在内的许多少数民族，手握百万大军，雄踞塞外。地盘大了，兵马壮了，始毕可汗的野心也随之膨胀起来，他不甘心继续臣服于大隋，开始图谋摆脱隋朝的束缚。
突厥帝国的重新兴起，长孙晟早就作过预言，并在他军事生涯末年向隋炀帝提出了最佳解决办法，那就是在突厥国内重新扶持一支新的势力，与始毕可汗分庭抗礼。这个工作由谁来做呢，隋炀帝想到了裴矩，这位“长孙晟第二”，而事实上，长孙晟去世后，最先对突厥的强盛表示担忧，提出该扶持一位新的可汗出来，与始毕可汗抗衡的人，也正是裴矩。公元614年，随着隋军二征高句丽失败，又在镇压杨玄感起义一事上大损国力，始毕可汗得讯，愈发蠢蠢欲动。裴矩向隋炀帝提出：可以寻访始毕可汗的弟弟，将宗室公主嫁给他，达成结盟，再次将突厥国分裂为两部。隋炀帝一拍脑袋，想起长孙晟说过，始毕可汗有个弟弟，名叫叱吉设，可以将此人作为外交的突破口。既然长孙晟和裴矩的观点不谋而合，那事情就简单了，隋炀帝于是下诏，任命裴矩为护突厥特使，让他前往游说叱吉设与大隋和亲。
裴矩带着大量的金银财宝和一位美貌的公主出发了，过了几个月，他灰溜溜地回朝，禀报隋炀帝道：“臣的计策失败了，叱吉设不但拒绝与大隋和亲，还将此事禀报于始毕可汗，说我大隋用奸诈的计策，想让突厥国重蹈覆辙，再次陷入长期分裂。始毕可汗为此大怒，宣布今后不再向大隋进行朝贡，还要发兵来攻打我们。”
隋炀帝懵了，不对啊，这个策略是长孙晟最先使用的，裴矩不过是依着葫芦画瓢。如果说策略有问题，那为什么长孙晟就能次次成功？如果说策略没问题，那为什么裴矩第一次与突厥和亲，就出师不利？他将此事交由大臣们公议，大臣们分析之后，答隋文帝道：“对于突厥国，离强合弱、分而治之的策略本身没问题，有问题的是裴矩。但其实也不能完全怪他，因为不是人人都是长孙晟，能够将这一策略贯彻二十余年，从未失手的人，也只有长孙晟能够做到了，他是百年难得一见的纵横奇才！”
这个答案很公允，同样的弓箭，不同人的射出去，准度不一样；同样的长矛，不同的人投出去，力度不一样，裴矩能够说服西域四十四国臣服于大隋，大家都以为他是有几把刷子的，但和长孙晟一比，才发现他原来是个半吊子。
就是这位半吊子外交家裴矩，坑苦了李渊，等他到晋阳上任时，隋朝、突厥两大帝国已战火重燃。始毕可汗拥有的军队人数上文已有介绍—百万兵力，当然这个数字有水分，因为其中包括吐谷浑、奚、契丹等降服于突厥的其他少数民族的军队，但即使打个半折，直接听命于始毕可汗的军队，五十万还是有的。而刚到晋阳上任的李渊有多少军队呢？
答案是：三千人。
综上所述，李渊靠这点兵力，想要长期守住晋阳，不但不是美差，反而是非常艰巨的任务。隋炀帝当然也明白这一点，所以又特意向李渊声明：“如果将军自度不能胜任，就自来江都领罪！”隋炀帝时期，大隋总计有三座都城，分别是西都长安、东都洛阳、江都扬州。西都长安隋炀帝自登基后几乎没去过，东都洛阳也很少去，他大部分时间都把行政中心设在江都扬州，该地经济富庶，风景秀丽，更关键的是还盛产美女。隋朝时期修建的京杭大运河，整体上俯瞰，是个“＜”号形状，洛阳和扬州之间是连通的（今天的京杭大运河已几乎成为一条直线“∣”形状，不经过洛阳）。
这条诏令一下，等于把皇帝表哥李渊的退路给堵死了，去晋阳，好歹还能看见一丝希望；不去晋阳，那就得去江都，这次去和上次去情况不同，谁知道隋炀帝会怎么处置他。李渊一咬牙，去晋阳就去晋阳，大不了被突厥人杀了，好歹也算为国捐躯！他让自己的家人收拾行李，带着他们踏上了新的征途。
李渊依照隋炀帝的诏令前往晋阳抵挡突厥人，然而，他带着家人和数千军队走到半路，还不知道突厥人是啥模样，就遭到了数万起义军的围攻。这支起义军的首领名叫甄翟儿，因不堪隋朝暴政，他带着数万流民在晋阳附近打家劫舍，以抢掠为生。近日甄翟儿得到消息：皇帝的表哥将会从关西来晋阳上任，是个大得不能再大的“大人物”，如果能够撞见他，将是一笔大买卖。甄翟儿大感振奋，于是带着数万起义军在鼠雀谷（古战场名，位于今山西灵石县东南）一带设下埋伏，专等李渊路过。李渊对此毫不知情，一到鼠雀谷，就被兵力十倍于他的起义军包围，内内外外多达数重。李渊不知甄翟儿围住自己作甚，忙大声解释道：“好汉，我是朝廷命官李渊，此去晋阳上任，为的是抵挡突厥人侵犯中原。”甄翟儿可不管他是干嘛去的，只问他道：“你是皇帝的表哥吗？”李渊犹豫了一下，说道：“正是。”甄翟儿眼前一亮，招呼身后的义军士兵们道：“等的就是你，兄弟们，杀了他！”
数万义军得令，一拥而上，眼看李渊即将人头落地，一队骑兵从远方飞速驰来，领头的是一少年，鲜衣怒马，眉目清秀，年纪约莫十八九岁。李渊见了少年之后，急忙道：“我儿，他们要杀为父！”李渊之妻窦夫人，共生有四个儿子，分别名叫李建成、李世民、李玄霸、李元吉，其中李建成年近三十，李玄霸两年前患病夭折，李元吉才十四岁。那少年名叫李世民，在李渊嫡子之中，排行第二。李世民之妻，是长孙晟的女儿长孙氏，二人于三年前成婚。李世民十分钦佩岳父的谋略和箭术，遂以长孙晟为榜样，常年勤习兵法、箭法不倦，因此他箭术极精，李渊军中无人可以和他媲美。
此来晋阳途中，李渊自带着家眷和几千步兵走在前方，由于李世民武艺高强，李渊让他率数百骑兵负责殿后。李世民听说父亲被围，火速从后军赶来营救，只见他一马当先冲入数万行伍之中，连发十数箭，无一失手；待弓箭射尽，他随后又手持枪槊，与敌军陷入肉搏，不可阻挡。甄翟儿没想到这位皇帝的表哥有一位身手如此了得的儿子，忙下令解除对李渊的包围，聚拢士兵来战李世民，李世民毫不退让，率数百骑兵在鼠雀谷中往来冲杀。李渊脱困之后，挂念儿子的安危，也下令步兵们加入战斗。经过一场苦战，李渊父子大破甄翟儿领导的数万义军，俘虏对方一万余人，甄翟儿仅率数千人逃亡。