唐军休整停当，第二日天明后继续向北行军，于四月下旬也来到介休城外。不得不说，刘武周这人确实颇有明主风范，他听说宋金刚告急，果断将麾下两万旧部尽数派往介休，交给宋金刚与李世民决战。

这两万旧部，之前曾帮助刘、宋二人横扫山西，也是刘武周手中的最后一张王牌。宋金刚得其增援，重新拾回信心，为了报答刘武周的信任，他决定采用“背城一战”的策略。考虑到李世民麾下有一支异常精锐的玄甲铁骑，一旦该军发起冲锋，没有哪支军队能抵挡得住，于是在决战打响之前，宋金刚把两万军队全部派出西门，让他们背靠着城墙，布成一字长阵，南北长达七里。待布阵完毕，宋金刚下令留守介休的尉迟敬德等人立即把西门关上，高声对全军道：“无论城外战况如何，介休的城门一旦关闭，不会再次开启。此战，包括本王在内，所有人有进无退！”

见宋金刚摆出了搏命的架势，李世民迅速予以回应。他下令秦琼、程咬金率领千余玄甲军，向宋金刚的军队发起冲锋，两军就在介休城西展开激战。宋金刚“背城一战”的策略显出了效果，其手下的士兵知道除非取胜，否则无路可退，无不奋勇拼杀；加上城门附近地形局促，唐军骑兵冲杀起来不方便，只能和步兵一样下马混战，两军交战了一个多时辰，秦琼、程咬金战况不利，带着部队开始向东退却，宋金刚趁机发起反扑，亲率全军猛力追赶。看看赶了有好几里路下去，秦琼突然拨马回身，对紧跟在他身后的宋金刚道：“都说阁下用兵如神，原来亦不过如此。”宋金刚一愣，不禁勒住战马问道：“你这小子，说这话是什么意思？”秦琼手指他身后，笑道：“你转过身去看一看，便知究竟。”

宋金刚赶紧转身回看，只见李世民率一军，正从介休城北杀来，唐军总管翟长孙、秦武通率一军，正从城南杀来—却是李世民见宋金刚背城而战，气势惊人，遂在战前密令秦琼，让他用诈败之计，设法把宋金刚从城下引开，引到附近的一处平原上。当下，三部唐军按照预定计划，分别从东、南、北三个方向同时向宋金刚的部队发起冲击，宋金刚以一敌三，如何招架得住，很快把刘武周交给他的两万人也给打没了。宋金刚骑马向北逃走，李世民率军追赶几十里，目送他逃往突厥，方才下令撤军。李仲文等人此时驻军在浩州，距离介休不远，听得喜报，派人前来拜见秦王，并向唐军进献食物。李世民吃过李仲文送来的粗米饭和浊酒，令堂弟李道宗前往劝降尉迟敬德和寻相二人，尉迟敬德、寻相见唐军四面围城，这次再也无路可逃，迫于形势，同意举介休城投降唐国。李世民对尉迟敬德的到来非常高兴，在受降的即日，即任命他为右一府统军，仍让他和寻相统领原先的八千部众。唐军大将屈突通认为李世民这样做有欠妥当，私下对李世民道：“秦王明鉴，尉迟敬德虽与末将一样也是降将，但我效忠的大隋已经亡了，自会死心塌地效忠于唐国。而刘武周、宋金刚二人虽然战败，但此时毕竟还活着，您让尉迟敬德、寻相统领他俩原先的部下，难道不担心他二人会逃走吗？”李世民不假思索地答道：“我用真心待此二人，此二人必也会真心待我，屈将军又何必担忧呢。”遂不听屈突通的劝告。

宋金刚逃走后，刘武周独力难支，先后放弃晋阳、马邑，和宋金刚一样也逃往突厥。当时，突厥国处罗可汗恰好患病，无药可医，义成公主听说中原有一种神药叫“五石散”，包治百病，于是特地派人南下取来给处罗可汗服用，处罗可汗吃了“五石散”，不久一命呜呼，在位仅一年多。他的弟弟阿史那咄苾此后登上汗位，并按照突厥习俗迎娶义成公主为妻，史称：颉利可汗。

颉利可汗的上位是唐国与突厥关系的一大转折点，之前的始毕可汗、处罗可汗都贪图唐国的贿赂，只要南方定期把礼物送到，他俩基本上很少用武力干预中原的战事。颉利可汗上位时，经过他父亲、兄长的数代经营，突厥国正处在历史上的又一个鼎盛期，号称拥有百万精兵，远胜包括唐国在内的一干中原诸侯。颉利可汗因此轻视唐国，认为与其坐等唐国每年派人前来送礼，还不如自己带兵南下直接去抢。义成公主作为隋朝皇室的后裔，也希望能借助新任丈夫之手重新光复大隋，自然极力赞同颉利可汗的政治主张。于是颉利可汗扶持隋炀帝的另一位孙子杨政道为“隋王”，将他和萧皇后安置在定襄；另遣使南下，分化北方群雄，希望从中寻找出几位愿意与突厥联手一起对抗唐国的盟友。对于颉利可汗的示好，除了窦建德表示不感兴趣，刘武周和王世充都给予了积极回应。颉利可汗一看，这刘武周和宋金刚原先好歹还有个马邑和两万军队，现在是要地没有，要兵也没有，还能帮啥子忙，遂与王世充交好，对刘武周、宋金刚十分轻视。刘武周、宋金刚为取悦颉利可汗，悄悄派人潜入唐军阵中，招揽原先的部下北上与他俩会合—其中就包括尉迟敬德、寻相以及他俩率领的八千军队。寻相得知刘武周还活在世上，和屈突通之前顾忌的一样，果然趁着唐军不备逃走了，临走时还带走了不少部下；尉迟敬德得到消息稍微迟了一步，他还没反应过来到底发生了什么状况，就被大队赶到的唐军将士缉捕，打入了囚车。