打败了这支强大的农民起义军后，李渊终于成功带着家人抵达晋阳，还没等及他喘口气，隋炀帝的使者又来了。那使者宣读诏书道：“朕不忿高句丽王无礼，遂第三次征发百万大军前往征讨，本来旗开得胜，高句丽王也同意请降，孰料始毕可汗突然亲率骑兵数十万人出现，截断我军退路。朕不得已而回师，又在巡行雁门时被始毕可汗围困多日，幸得朕用长孙晟遗言，派人与义成公主相见，请她代为说情，始毕可汗方才下令解除包围撤军回国。太原留守李渊、马邑太守王仁恭二人听令，朕命令你二人主动出击突厥人，替朕一雪前耻！”
李渊待使者把诏书读完，差点没晕厥过去—表弟您贵为天子，手握百万雄师都差点遇难，您表哥我就这点兵力，能把晋阳守住就不错了，您竟然还要我主动出击突厥人，我…李渊当然不敢正面顶撞使者，只好又硬着头皮把这个任务接了下来，然后他赶紧派人去询问那位马邑太守王仁恭：“王太守，你那边有多少兵力？”
王太守的回信很快送到：“我有一千多士兵，正为突厥人频繁入侵愁得寝食难安呢，如今李大人您终于赶来支援在下，这真是太好了！”
这一答复让李渊哭笑不得，整了半天，他和王仁恭的兵力加起来还不足五千人（这里指的是正规军，之前俘虏的流民不算），拿什么去打败突厥人？面对这个几乎无解的难题，还别说，李渊最终还真的想到了一个好办法。他让儿子李世民教士兵们练 骑射，组建成一支两千人的骑兵部队，然后李渊让这两千骑兵模仿突厥人的饮食起居，常驻塞外，四处打游击，只要遭遇到突厥人，就伺机偷袭，射杀他们的士兵，烧毁他们的营帐，掠夺他们的牲畜，打完了就跑；突厥人若愤怒地前来报复，他和王仁恭就依托晋阳、马邑二地坚固的城墙，坚壁清野，固守城池。这样前后获胜多次，突厥人求战不得，对初来乍到的太原留守李渊十分畏惧。
正当李渊在王仁恭的帮助下，逐渐在晋阳城站稳脚跟时，大业十三年，公元617年，天下形势再度发生剧变。首先就在这一年，李渊的战友马邑太守王仁恭却被部下刘武周所杀。刘武周起兵之后，自立为皇帝，他派人寻访境内名将，得知一人名叫宋金刚，很善于用兵，刘武周大喜，派人将宋金刚请到军中，封他为宋王，将军政大权全部交由宋金刚一人打理，自己几乎从不过问；又把之前夺取的财物分成两份，刘武周一份，宋金刚一份。宋金刚得刘武周如此知遇之恩，自然感动得五体投地，他向刘武周提议：“突厥国缺少美女，可以将俘虏得来的女子进献给始毕可汗，换得他的支持；然后，我军在突厥人的支持下，先攻取附近的楼烦（在今山西静乐县）、定襄二郡，然后攻取晋阳作为立足之地，就能向南争夺天下了。”刘武周从宋金刚之言，将俘虏的女子献给始毕可汗，向突厥国称臣，始毕可汗册封刘武周为“定杨可汗”，赐予他许多战马，刘武周至此实力日渐峥嵘，迅速发展成为一支强大的势力。
与之同一时期，另有一人在河北称王，名叫窦建德。此人也是一位英雄人物，早前，他是隋军的一名小军官，为逃避兵役，他带着一群不愿当兵的穷苦百姓落草为寇。窦建德仗义疏财，将自己所有的钱财用于接济穷人，因此投奔他的士兵都愿意为他出生入死。面对朝廷军队的讨伐，窦建德的做法也十分有远见，他对士兵们道：“那些前来讨伐我军的官兵，其实并非恶人，他们只是畏惧暴君怪罪，所以才被迫前来交战。如果俘虏了他们，一定要以礼相待，愿意加入我军的就留下，不愿意加入的就放他们离开。”消息传了开去，窦建德所过之处，各地隋军官兵大多都主动投降他，因此窦建德吸纳了许多朝廷的军队，逐渐拥有精兵强将十多万人。
在窦建德的驻地河北以南，此时也有一支强大起义军威名远播，这就是大名鼎鼎的“瓦岗军”。瓦岗军的创始人名叫翟让，此人是个粗人，空有一身蛮力，没什么太大的抱负；但他的部下说起名号来，那可真的是个个如雷贯耳—李密、单雄信、徐世勣（《隋唐演义》中的“牛鼻子老道”徐茂公）、王伯当、秦琼（秦叔宝）、程咬金、裴行俨（《隋唐演义》中“万人敌”裴元庆的原型）、罗士信（《隋唐演义》中“冷面寒枪俏罗成”的原型），这些人都是瓦岗军的成员。其中李密、王伯当在杨玄感兵败之后，就投奔了翟让（王伯当是李密的学生），单雄信、徐世勣加入瓦岗军在李密、王伯当之前，秦琼、程咬金、裴行俨、罗士信四人加入瓦岗军稍晚，于公元617年这一年才前来报道。因为这支军队的根据是位于河南地区的瓦岗寨（在今河南滑县东南），故称之为瓦岗军。
相比刘武周、窦建德的两支起义军，瓦岗军尤其值得一提。不是说秦叔宝、程咬金这些人的名气大，而是因为这支军队一来是最早扛起反隋大旗，公元611年，翟让就和单雄信、徐世勣等人在瓦岗一带打家劫舍，杀富济贫；二来这支军队活跃的地区很特殊，是在河南，毗邻洛阳。所以瓦岗军所面临的朝廷征剿力度最大，生存的环境最恶劣。尤其是三征高句丽失败之后，隋炀帝放弃了这一徒劳之举，把眼光重新放回国内，瓦岗军频繁遭到朝廷大军围剿，屡遭重创。直到李密、王伯当加入，像当初辅佐杨玄感一样，为翟让制定了清晰的攻战策略，瓦岗军才重新振作起来，在与朝廷的对抗中占得优势。秦琼、程咬金、裴行俨、罗士信四人也都是经李密游说，之后加入了瓦岗军。翟让自觉谋略、名望、用人皆不如李密，最后干脆将瓦岗军首领的位置主动禅让于李密。于是公元617年，李密和刘武周、窦建德二人一样，也正式建立政权，史称：西魏，李密自封“行军元帅魏公”，任命翟让为司徒，其余两位瓦岗军的最早开创者单雄信、徐世勣分别担任左武侯大将军、右武侯大将军，又任命秦琼、程咬金、裴行俨、罗士信四人为“魏国四大骠骑将军”，从军中挑选出八千精兵，分别交由四人统领。经过李密的整编，西魏军队的战斗力焕然一新，即使在炎热的酷暑，只要李密下令他们出战，士兵们仿佛身裹冰霜一样严峻的执行，所到之处，攻必克，守必固，军容齐整，秋毫无犯。李密曾说道：“我有四大骠骑将军在手，即使是八千人，可当百万之众。”这不是夸口，而是事实。而且李密身为名门之后，不看重财物，他每战夺取的战利品，都主动分发给附近的百姓。各地义军、百姓非常仰慕李密的为人，将他誉为“反隋各路义军盟主。”