一两日后，参与追击齐军的周军将领陆续归来，向周武帝提议道：“我军此战虽大败齐军，但将士们经过长途奔波，连日苦战，皆已疲乏不堪，宜及早班师。”周武帝道：“晋州既下，晋阳近在咫尺，岂有不取之理。现今齐国兵员大损，人心浮动，我军虽是疲乏之师，仍然可以轻易地击败他们。”将领们道：“齐军自然不足为惧，但是突厥人得知齐国将亡，绝不会坐视我军尽吞关东之地，统一北方。突厥可汗若发兵援救齐国，那可如何是好？”周武帝听了这话，不觉一愣—也对，之前突厥人一直帮着周国攻打齐国，只因为当初高洋在位的时候给他们造成了巨大的心理阴影，让突厥人始终觉得齐国比周国更加可怕；而如今，周军步步进逼，齐军节节败退，孰强孰弱一目了然，突厥可汗只要明白唇亡齿寒的道理，就绝不会坐看齐国灭亡。他问刚立了大功的梁士彦对此事怎么看，梁士彦道：“突厥人若敢南下，臣虽然只剩下数千士兵，一定替陛下将他们拦住。”周武帝嘉其壮志，下令全军道：“朕意已决，继续攻打晋阳，你等若有疑虑，朕独自前去亦可！”因此周军将领无人再敢提议退兵之事。周武帝留下梁士彦继续镇守平阳，自率周军主力来到晋阳城下。

齐帝高纬在前一战中兵力损失了十之八九，见周武帝紧追不放，又来攻打晋阳，彷徨无计，想带着新被封作皇后的冯小怜回邺城。齐文襄皇帝高澄的第五子，高长恭的异母兄弟高延宗进谏高纬道：“晋阳是我齐国的立国之本，城池坚固，粮草充足，只要陛下下诏减免赋税，停止劳役，收拾残余的士兵，安抚恐惧的百姓，背城决一死战，周军再是强大一时也无法攻克。臣另遣使者北上塞外，请突厥可汗派兵前来增援，国家可以守住。”高纬不听，坚持要回邺城，齐军众将这时早已对他心灰意冷，都主张听从高延宗的建议，据守晋阳、联络突厥，与周军周旋。高纬见将士们不肯相随，只好带着冯小怜、高阿那肱等数十人于夜间逃离晋阳，悄悄返回邺城。到邺城之后，这座繁华的齐国大都距离高纬上次离开才过去几个月，已是物是人非—穆婆提投降周军的消息传开，其母陆令萱羞愤自尽，之前留守邺城的官员们羡慕穆婆提在周国得到了优厚的礼遇，纷纷效仿，这时也逃得差不多了。没有逃走的官员知道周军刚将晋阳包围，见皇帝归来，劝他发动邺城的军队，北上支援晋阳，相助高延宗守城。高纬怅然若失，叹道：“就算保住晋阳又如何，难道周军退走之后，还有人支持朕继续坐在这个皇位上吗？”随后他又恨恨地说道：“朕宁可让宇文邕得到晋阳，也不愿意见到高延宗得众将如此拥戴，这齐国皇帝的宝座，朕坐不了，他也休想坐。”高纬于是勒令邺城和附近军队，不允许他们救援晋阳，任由高延宗自生自灭。

高延宗没想到高纬竟然把事情做得这么绝，惊怒不已。随他留守晋阳的齐军将领也十分愤怒，皆劝他称帝，高延宗不从，说道：“我提议坚守晋阳，是因为这座晋阳城凝聚了高祖皇帝一生的心血，不忍白白舍弃，又岂是为了一己私欲。”众将道：“属下们当然明白王爷一心为国，但您不称帝，我等绝不会再替昏君高纬效力。”高延宗遂称帝，自散家财，用以贿赂突厥可汗；又下令将晋阳府库大开，把所有的钱财分发给将士们；又下令通缉晋阳城中与陆令萱、穆婆提、高阿那肱等人有密切关系的官员，以防出现内奸。晋阳军民见高延宗如此行事，大受鼓舞，个个踊跃参军，高延宗巡视军营，见新加入的军队之中，有许多儿童、妇女，悲痛流涕道：“社稷沦丧，殃及无辜，是我高氏之罪也。”他一一慰问士兵，握住他们的手表示鼓励，新加入的士兵答道：“只要不替昏君高纬效力，纵是一死，又有何惧。”数日之间，晋阳城内便重新集齐了数万军队；又有官员来报，说上一战我军武器、盔甲、战马损失惨重，现在城中的武器不足以装备全军，弓箭也远远不够用。高延宗对此忧愁，新加入的士兵道：“没有武器又何妨，只要能痛击敌人，有什么就用什么。”那些儿童、妇女纷纷搜集石块、砖瓦登上城楼，见城外的周军靠近，就用石头、砖瓦投掷他们。在全城军民众志成城的守护下，周武帝来到晋阳后数日，进展艰难，他的部将听说高延宗已派使者献礼物于突厥可汗，担心突厥援兵随时会到，又劝说周武帝趁早退兵。

周武帝本道平阳之战周军大获全胜，齐国已无兵可用。没想到齐国藏龙卧虎，连临时凑集的“童子军”“娘子军”战斗力都如此强大，一时骑虎难下。他下令全军加强对晋阳的攻势，必须抢在突厥人到来之前，结束晋阳之战。周国崇尚黑色，周军的旗号、战袍都是用黑布制作，一旦四面围城，展开急攻，那晋阳城就似乎被层层乌云笼罩着一般。晋阳将士虽然绝大多数是忠勇的好汉，难免有意志力不够坚定的懦夫混杂在其中。负责镇守晋阳城东门的齐军守将便被周军的强大吓破了胆，他悄悄派人缒城而下，向周武帝献上密信，信中道：“陛下可麾军猛攻东门，小的见陛下兵到，立即大开城门接应。”周武帝阅过此信，心中大喜，他下令：把周军分作两部，半数士兵继续攻打南、西、北三侧，这三处士兵皆是虚招，只需佯攻，不必使出全力；另调集最精锐的三万人到他帐下，随他转战东门，这一路军队是实招，只要城门一开，全军必须果断的随他冲入城内。部署完毕之后，周武帝令来使带书信回去，向东门守将承诺：只要拿下晋阳，必有丰厚的赏赐。

十二月中旬，距离晋阳之战爆发，已过去近有十日。镇守晋阳城东门的齐军将领与周武帝暗中通好，在一日深夜突然将城门大开。周武帝亲率三万精兵打起火把，经东门进城，杀向城池的指挥中枢，守军措不及防，集体大乱。刚称帝不久的高延宗见情况紧急，下令将城头上的所有精锐士兵撤下，随他前往迎战周武帝，他的两员爱将，一位名叫莫多屡敬显、一位名叫韩骨胡，很快按照旨意，带着凡是有武器、有战马的士兵前来会合，仅凑足了骑兵二千余人。周军进城之后，见前来迎战的齐军在火把的照耀下，戎装不整，人数很少，忍不住齐声大笑；又见那高延宗身体肥胖，坐在马上挺着个大肚子，哪有一点点当主帅的模样，更是笑得前俯后仰。见周军轻视自己，高延宗冷冷一笑，也不以为意，趁着对方懈怠，他手持长矛率先冲向周军，身后两千骑兵见新任的皇帝带头冲锋，人人紧随其后。恰值此时，一首曲子在城中响起，齐军人人耳熟能详，竟是《兰陵王入阵曲》—除了随高延宗出战的两千多名骑兵，其他没有兵器的齐军士兵揉着惺忪的睡眼，也陆续赶来支援，这些人手无寸铁，在城头扔扔石头还行，若与周军铁骑正面展开搏斗无异于送死。情急之下，这些围观高延宗战斗的士兵们猛然间想到：高延宗和高长恭都是高澄的儿子，如果用他兄长兰陵王的英勇事迹激励他，或许会有奇效，遂集体奏响了《兰陵王入阵曲》。出战的齐军听见此曲，果然精神为之一振，不夸张的说，这首曲子在齐军将士心目中的地位，就相当于他们的“国歌”。奇迹发生了，只见大腹便便的高延宗在马上灵活得如同猿猴，他挥舞长矛在城中来回冲杀，力大无穷，矫健如飞，他冲向哪里，哪里的周军马上倒下一片，谁也抵挡不住。不一会儿，周军的伤亡人数便超过了两千人，比齐军出战的人数还多。周军见高延宗在火光之中威风凛凛，如同兰陵王附体一般，恐惧不已，不顾周武帝的约束，许多人争相向城外溃逃，一时间全部挤在狭窄的东门，践踏而死者不计其数，周武帝身边亲兵见势不妙，劝皇帝跟随大军及时撤离，周武帝好不容易才进得城来，哪里舍得离开，他带着身边的数百亲兵与高延宗混战，数百亲兵几乎全部战死。危机之时，一名忠心的侍卫强行脱去周武帝的盔甲，将他背负在自己身上，保护他逃向东门。因城中遍地是周军的尸体，有齐军看见周武帝的盔甲被丢弃在血泊当中，兴奋地叫道：“宇文邕死了，周国皇帝死了！”高延宗信以为真，这才下令停止追击周军，同时派人缉捕镇守东门的守将。那东门守将见周军落败，早已逃之夭夭。