李渊出兵之时，将军队分成三部，分别是李渊自己率领的中军，李建成率领的左军，和李世民率领的右军。故而撤退之时，也是分成三部陆续动身。李渊令李建成率左军行走在最前，自己率中军位居中央，李世民率右军负责殿后。当日黄昏，左军依照李渊的命令，已经率先离开了霍邑，中军和后军因天色已晚，准备于第二日再启程上路。夜间，李渊隐约听见帐外的雨声中夹杂着奇怪的声音，心中狐疑，起身出帐查看，赫然发现自己的儿子李世民跪倒在雨中，正在伤心的大声哭泣。李渊将儿子扶起，问他道：“明早还要率军赶路，你不去自己营帐休息，为何在此悲伤大哭？”李世民道：“到明日一早，我们父子哪里还会有军队，唉，一想到此事，孩儿岂能不悲伤呢？”李渊奇道：“为父只是下令暂时撤退回晋阳，并未宣布解散军队，你说这话，为父可就不明白了。”李世民抹干眼泪，然后道：“行军打仗最讲究的是士气，父亲既已誓师三军，所有士兵都对您的命令绝对服从，相信您举兵是为了大义，只要进攻，一定能够取胜。可是您今日却在士兵们面前表现得犹豫不决，连您自己对攻克长安，成就大业都不抱期望了，他们又怎会还对您抱有期望，他们的信心一旦动摇，瓦解只在旦夕之间。”

李渊猛然醒悟，问李世民道：“可是左军已经出发了，现在该怎么办？”李世民道：“我与大哥相约，今夜一定会劝动父亲，收回撤军的命令，他此时定然还没走远。孩子这就去叫他把左军带回来。”李渊松了口气，又仔细想了想，不禁莞尔说道：“好你个臭小子，竟然对为父使了一招苦肉计。也罢，既然中你之计，为父没甚好说的，接下来就看你们兄弟二人的表现了。”

第二日一早，大雨终于停了，炎日当空，万里无云。李建成带着左军士兵回来向李渊报道。李渊下令三军士兵各自晾晒铠甲和行装，作攻城准备。出战之前，李渊对李建成、李世民道：“我军已经被大雨耽搁得太久了，此战必须迅速取胜，否则突厥人那边确实不好交代。你二人可有取城的妙计？”李建成、李世民互相看了一眼，齐声道：“可再使一招苦肉计，由我二人前去诱敌出战，父亲大人则率领其余众将，准备伏击宋老生。”二人随后将计策详细说了，李渊点头道：“计是好计，但你二人务必小心。”

得父亲允准，李建成、李世民二人仅带着几十名骑兵来到霍邑城下，对着城墙上驻守的军队指指点点，宋老生得守军告知此事，手持武器，登上城墙向下俯瞰。李世民见宋老生铠甲显眼，应该就是此城主将，大声问他道：“来者是宋老生吗？”宋老生点点头，反问他道：“你又是何人？”李世民指着身边的李建成道：“我是李渊的二公子李世民，这位是我大哥李建成。我父亲要取西京，打此地路过，准备发兵攻打城池。我与大哥说道，区区霍邑小城，何须动用大军，只需交给我兄弟二人几十名士兵就足够拿下。”说罢，他对李建成道：“大哥，你带十几人去西门，从那里登城；这座东门就交给小弟我了，看我兄弟二人谁先立下大功。”李建成听后为难道：“我带人赶到西门，少说也要小半个时辰，万一我刚到西门，你就已经把霍邑攻克了，功劳岂非全是你的？这太不公平了。”李世民安慰他道：“那小弟就等大哥半个时辰又何妨，半个时辰之后，看我二人谁先建功！”李建成这才笑了起来，说这样好，这样才公平。

宋老生清楚听到了李建成、李世民二人的完整对话，气得七窍生烟，厉声骂道：“哪里来的两个狂妄小贼，竟敢把我宋老生和两万精兵视若无物！”他一声令下，下令把城门大开，亲率二万守军一窝蜂杀出城去，誓要手刃李建成、李世民二人。李建成、李世民见状暗喜，带着几十名骑兵向东退去，宋老生在后紧追不舍，看看追赶了有十余里地，只听道路两边呐喊声大起，李渊率一军从北边杀来，其部将殷开山率一军从南边杀来，这两支伏兵加起来有三万人。宋老生这下反应过来，急忙驻住战马道：“中计了，中计了，大伙快随我退回霍邑。”就在他重新集合军队，准备带着他们向西撤退的当口，李建成、李世民二人带着几十名骑兵已神不知鬼不觉地绕到了宋老生军队的西边，拦住了他的退路。一时间，李渊的军队从西、北、南三个方向对宋老生的军队展开了夹击。宋老生无心缠斗，只顾催促士兵们向西边的霍邑城方向全力前进，无奈李建成、李世民所率的骑兵人数虽少，却个个勇不可当，尤其是那李世民，他此战手持长槊，背悬弓箭，腰间还带了两把佩刀，战了不多时，他的长槊因战斗激烈，竟从中折断；他弃槊于地，取出佩刀继续往来砍杀，又战了不多时，两把佩刀也尽皆卷刃。宋老生的士兵，有近百人死在他刀下，因飞溅的鲜血太多，李世民的衣袖逐渐沾满了敌军士兵的鲜血，变得沉重不堪，李世民为此行动艰难，索性割去衣袖，赤裸着臂膀，手持卷刃佩刀接着混战。乱军之中，宋老生被李渊部下刘弘基斩杀，霍邑守军闻讯，随即全线崩溃，横尸数里。这一战结束后，由于镇守霍邑的隋军几乎被李渊所部全部歼灭，李渊甚至连攻城的武器都没用上，就成功率军进入了城内。