隋炀帝发动的第一场远征高句丽之战，就这样以惨败而结束。一百多万隋朝大军，近三百万民夫，死亡者将有半数，消息传至中原，天下震动。更令中原军民绝望的是，隋炀帝完全没有反思为什么一场明明是“以石击卵”，胜券在握的战争会变成史无前例的大溃败，他将此战的失败完全归咎于运气不佳。于是距离第一战失败才过了不到半年，隋炀帝又宣布：再次进行全国总动员，准备二度发兵远征高句丽。
兵死光了，就重新拉壮丁，粮食用光了，就重新搜刮百姓。隋炀帝的冷血无情，让各地军民忍无可忍，终于有人揭竿而起。隋大业九年，公元613年，有齐郡人王薄、孟让，北海人郭方预，青河人张金称，平原人郝孝德等发动农民起义，各路起义军人多者十万，人少者数万，一时间席卷整个齐地。在这一形势下，隋炀帝依然坚持下令各州官员继续筹措兵马，又在辽东城以西修建辽东古城，用作储蓄粮草。该年三月，隋炀帝乘坐御驾再次亲临辽东，临行之前，群臣拦住车马，齐声谏道：“千钧之弩，不会为小老鼠而发射，现今中原动荡，社稷不安，陛下不留在国中安抚百姓，却执意与一小小的戎狄一较高下，实为不智之举。”隋炀帝不听，说道：“齐地之乱，朕已下令张须陀率军前去征讨，二征高句丽之战，势在必行。”他下令杨素之子杨玄感留在黎阳，继续督运粮草送往前线，自己亲率重新招募的各地军队六十余万人，于四月渡过辽水。
隋炀帝多少还是从上一战中吸取了一些教训，此次他督军攻打辽东城，事先就特意声明，允许麾下将领们便宜行事。有了这句话，出征高句丽的将士们士气大受鼓舞，他们制作了一百多万个麻袋，袋中装满了土，往辽东城下一堆，隋军士兵就可以直接借助这些麻袋爬上城墙；隋炀帝又令工匠们赶制了一批楼车，这种楼车底部装有八个轮子，能够在战场上来去自如，故称之为“八轮楼车”，隋军士兵登上楼车后，所处的位置远远超出城墙，对城内的动向一览无余，所以射出的箭威力极大。镇守辽东城的高句丽军队哪里见过这种阵仗，守了一个多月，伤亡惨重，实在撑不下去了。就在他们又准备祭出“诈降”这一屡试不爽的策略时，有少数士兵突然喜极而泣道：“隋军撤退了，隋军撤退了！”
镇守辽东城的高句丽将军不信，派出少数士兵偷偷出城侦查，那些士兵们回来之后禀报守将道：“隋军全部撤退了，而且因为走得太急，他们储存营地里的粮食、武器、盔甲都没带走，堆得像座山丘一样。”守将怀疑隋军有诈，下令士兵们不许出城，此后过了好几日，始终不见隋军再来交战，守将才派了几千名士兵出城观察情况。这些士兵一直来到辽水以西，才撞见了几千名羸弱的隋军老兵。隋军老兵告诉高句丽人道：“我们的皇帝确实回去了，因为中原有一位不得了的大人物起兵造反，皇帝说此人造反与其他人造反不同，是要夺了他的江山的。”高句丽士兵这才欢呼起来，毫不留情地把几千名隋军老兵全部杀光，又把隋军储存在辽东古城的大量物资分批运输回国。
老兵们所说的大人物，不是别人，正是身在黎阳，负责督运粮草的杨玄感。杨玄感是杨素之子，他继承了父亲上柱国的爵位，家中财富巨万，这号人物一旦起兵，对隋炀帝而言无异于晴天霹雳—别忘了隋朝是怎么建立的，杨玄感在隋朝的地位，完全不输杨坚当初在北周的地位。其实，隋炀帝是防了杨玄感一手的，他在二征高句丽时，特地把杨玄感的两个弟弟都召入了军中，美其名曰护驾，说白了就是当作人质。哪知杨玄感的两个弟弟到辽东后，趁着皇帝专心于攻打辽东城的契机，偷偷逃回了中原。他俩一回去，再无后顾之忧的杨玄感随即宣布起兵，并传檄四方道：“我杨玄感身为上柱国，家中黄金巨万，一直得到皇帝的信任，可说是位极人臣。我为何要不顾被灭族的危险，起兵讨伐皇帝，不过是为了拯救天下黎民百姓罢了！”
隋朝的军民早就恨透了隋炀帝，一见该檄文，排着长队赶往黎阳，请求加入杨玄感的军队，每日都有成千上万的人前来报道，因此杨玄感宣布起兵没过几日，就拥有了十几万大军。值得一提的是，在投奔杨玄感的军民之中，另有一位“大人物”，其家族声望丝毫不逊色于杨玄感。此人名叫李密，他的曾祖是西魏八柱国之一的名将李弼，他的祖父、父亲也分别在北周、隋朝担任公卿要职，是为如假包换的“四世三公”。李密童年时期，酷爱读书，一次，他骑着黄牛出门拜访好友回家，将《汉书》悬于牛角之上，一只手捏着缰绳，一只手翻书阅读，这一幕恰好被杨素撞见。杨素遂牵着马悄悄跟在李密身后，跟踪他很久，见李密都没有察觉身后有人，这才忍不住叫住李密道：“谁家的公子，如此好学？”李密认识杨素，慌忙下牛行礼，自报家门。杨素问李密：“读的什么书？”李密答道：“项羽传。”杨素见李密好学不倦，谈吐不俗，颇感惊奇，他回到府中，对自己的儿子杨玄感道：“李密的年纪和你差不多大，但学识气度远胜于你，你应该主动与这样的人结交。”杨玄感从此与李密结为好友，即使二人身在异地，也书信不断。杨玄感起兵之际，李密正在西都长安，杨玄感特意派人去迎接李密前来，询问他接下来该如何行事。李密略一斟酌，献上三条计策。
上策：占领涿郡，控制临榆关（山海关），擒拿隋炀帝，然后挟天子以令天下。
中策：率军向西直入长安，抢在其他义军之前，把富饶、险固的关中平原据为己有，然后效仿汉高祖争夺天下。
下策：攻打洛阳，控制天下中枢，以号令四方。