战略目标既已确定，晋阳城内一片忙碌，在李渊父子的努力下，大量的新兵被扩充入伍，大量的武器被打造出来，晋阳的兵力很快翻了十倍，从几千人发展到几万人。—借着此事，恰好解释一下，为什么李渊之前明明俘虏了一万多人，且仍只有三千士兵的缘故。因为俘虏不等同于士兵，只有发还他们武器，且进行统一的训练，俘虏才能转变为军队。而在当时，朝廷命官私自训练军队，扩大地方武装是违法的，李渊如果想招兵买马，必须提前向隋炀帝汇报。那他汇报了吗？答案是没有，所以李渊的行为很快遭到了一些属下的警觉。这其中，就包括李渊的副将，时任太原副留守的王威，武牙郎将高君雅二人，还有一位不久前来投奔他的官员，名叫李靖。
李靖年少成名，十几岁的时候就得到了杨素、韩擒虎等隋朝重臣的一致高度认可，将他誉为“王佐之才”。但奇怪的是，二十多年过去了，已经快五十岁的李靖仍旧寂寂无闻（公元617年，李靖四十七岁），官职仅是马邑郡丞。马邑郡丞，也就是王仁恭的副手，这个官其实说小也不算小了，但距离杨素、韩擒虎等人的期望（王佐之才、出将入相）还差得远。尤其是在刘武周杀死王仁恭后，李靖甚至连马邑郡丞也当不下去了，他不想追随刘武周谋反，因此从马邑逃到晋阳，投奔晋阳守将李渊。结果他刚来报道没几日，赫然发现李渊的行为和刘武周没什么区别，竟然也是“反贼”。他和忠于隋炀帝的王威、高雅君等人私下商议此事，王威、高雅君提出的解决办法是把李渊暗杀掉，接管晋阳的管辖权；李靖提出的解决办法是上报朝廷，由他亲自前往江都向皇帝汇报此事。商议妥当以后，几人分头行事，王威、高雅君召集亲信，留在晋阳部署暗杀李渊的计划，李靖则伪装成囚犯，由少数士兵押着他踏上了前往江都之路。
李靖走后，王威、高雅君谋杀李渊的计划很快泄露，反倒被李渊所杀。李靖也未能如愿抵达江都，因为窦建德在河北手握重兵，李密在河南手握重兵，这两位义军首领一北一南，刚好联手把李靖前往江都的道路给堵死了，李靖没法子，只好掉头改为去长安，向当时坐镇长安的杨侑通风报讯。杨侑是隋炀帝的孙子，这一年才十二岁，也正因为他年幼，却以代王、总督的身份坐拥肥沃、险固的关中平原，所以李密、李世民、刘文静这些有识之士在起兵之时，不约而同地都把杨侑镇守的西都长安视作香饽饽—此即是“儿童怀抱金玉行于市井，世人皆有抢夺之心。”不过，也别小看当时隋军在西都长安的守御力量，隋炀帝虽然利令智昏，尤其是三征高句丽之战，是他一生最大的败笔，但他为了保证杨侑的人身安全，进而把西都牢牢控制在自己手中，很是作了一番精心的部署。奉隋炀帝的命令，隋朝的虎牙郎将宋老生率精兵二万驻守霍邑（在今山西霍州市），左骁骑卫大将军屈突通率大军数万人屯守河东—这两人对隋炀帝忠贞不二，所构筑的防线遥相呼应，结成了一道几乎不可逾越的外围屏障，尤其是屈突通的军队，在讨伐杨玄感的过程中功勋最大，天下人敬畏屈突通的神勇，如是形容他：“宁服三斗葱，不逢屈突通”。三斗葱，也就是三四十斤大葱，这玩意又苦又辣，谁若真能一口气吃个三四十斤下肚，不死也半残。各路义军宁可受这样的折磨也不愿和屈突通交战，可见他的威慑力。除了宋老生、屈突通这两位猛将，隋炀帝另委任七旬老将卫文升为西京留守，率军数万协助杨侑镇守长安城—这卫文升，曾参加隋朝首征高句丽之战，大家应该还记得，在那一战中宇文述制定了一个不切实际的计划，由九位将领，共计率三十万军队，每人携带百日的军粮偷袭平壤，最终这一计划以惨败而告终，三十万军队几乎全军覆没，只有几千人活着返回辽东。这几千人，就是卫文升带回去的，他是唯一一个败得还算体面的隋军将领。隋炀帝于是拍板，就是你卫文升了，去西京辅佐我的孙子，杨侑的人身安全和西京的安全，就全靠你了。杨玄感将军队迁往长安的途中，卫文升和屈突通一样，也参加了对杨玄感的围剿行动。
无怪乎李密在向杨玄感献策时，言之凿凿，把去长安定为中策，高于去洛阳这一下策。等到他自己建立西魏政权，当了最高首领，有人提醒他说，魏公不是早就想去关中发展吗，现在您无论下达什么样的命令，士兵们都会根据您的命令行事，怎么去关中之事提也不提了。李密想到当初杨玄感十几万大军，被屈突通、卫文升联手剿杀后只剩下十余骑的惨状，竟无言以对。所以李靖这一出逃不打紧，本来踌躇满志的李渊，得知李靖已到了长安，信心随即大为动摇。李渊忧心忡忡地问李世民道：“王威、高雅君被杀，李靖又潜逃外出，我军背叛朝廷的消息，卫文升、屈突通、宋老生等人定已知晓。以我军现在的实力，与他们正面交战无异于以卵击石。孩子，你依然坚持之前的主张，建议为父率军向长安进发吗？”
李世民答道：“从父亲将王威、高雅君斩首的那一刻起，父亲、大哥和我，难道还有其他选择吗？留在晋阳，无异于坐以待毙；进攻长安，才能有一线生机。”
“可是，我军的兵力只有临时召集的几万人，战马也只有数千匹。而且别忘了，突厥人和刘武周的军队正驻扎在晋阳以北，对我等虎视眈眈，万一我军攻打长安不利，他们的军队又趁虚而入，那时你我前无去路，后有追兵，下场只怕比杨玄感还要凄惨。”
李渊并不是懦弱之人，他只是性格慎重，考虑问题比较周全，事实上，他所讲述的也是实情。突厥人和刘武周盼星星盼月亮，巴不得李渊尽早离开晋阳—只要李渊一走，他们就能不费吹灰之力夺取这一战略要地，进而以晋阳为资，向南争夺中原，这是刘武周起兵之初就已拟定好的计划。这是又一个几乎无解的难题，但李世民却用一个李渊完全没有预料到的答案，再次作出了回答。
“这事好办，刘武周是怎么和突厥人结盟的，我们也怎么和他们结盟。”
李渊怒了：“这不可能！刘武周之所以得到突厥人的支持，是因为他卑躬屈膝向突厥人称臣；我李渊再不济，也是堂堂皇亲国戚，要我在世代向大隋称臣的突厥人面前自降身份，供其驱策，此事绝不可能。”
“父亲放心，要取得突厥人的支持，并非只有向他称臣这一条途径。此事孩儿与刘文静早已事先商议过策略，所欠缺的，只是父亲您的一封亲笔书信罢了。”
待听取过李世民的策略之后，李渊紧皱的眉头稍稍舒开了，叹道：“似乎也唯有如此了。如果为父的大业果然能够成功，事成之后，我立你为太子！”
自从李渊决定起兵，加入造反者的行列，因受另一个造反者李密牵连而锒铛入狱的刘文静便被他下令无罪释放—李渊、李密，两个姓李的这下都成了“反贼”，就谁也别说谁了。李世民所谓的策略，就是让刘文静带着李渊的书信面见突厥始毕可汗。书信的内容很简单，大致如下：“李渊近日听闻大隋天子被困江都，准备亲自带兵东下，前往江都迎接大隋天子回西京。如果可汗大人能够借一些兵马给我，下官感恩不尽，一定誓死报答；如果可汗大人不同意借兵，那也没关系，等下官迎回天子之后照样有丰厚的礼物送上。”
这封信中，李渊确实没有向始毕可汗称臣，但言辞非常谦卑，完全求助的口吻。按照常理来说，始毕可汗既然已扶持了刘武周这一亲突厥势力，是不可能再帮助李渊的，更遑论借他兵马了。然而，始毕可汗阅过书信之后，却直截了当地告诉刘文静道：“借兵给李渊没问题，但是他必须答应本可汗一个条件？”
“什么条件？”
“李渊必须自称皇帝，由他来统治关中，不再向江都的杨广称臣。”