到了武德四年三月，洛阳守城战进入到了最艰苦的阶段。唐军在强攻不下的情况下，改变了策略，采取长期围困战法，在洛阳城外挖掘壕沟，修筑堡垒，试图把王世充困死、饿死。不久，唐军的这一策略就初见成效，洛阳城内开始断粮，一匹绢仅能换来三升粟，十匹布才能换来一升盐，过去价值连城的金银珠宝，如今价格低贱得如同尘土野草。百姓们把城内的树叶、草根都全部吃完了，开始把泥土放到水桶中摇晃，等到澄清后，捞取水面上漂浮的细泥，再投入米屑，做成饼充饥。吃了这种饼的人都染上了疾病，浑身浮肿，双脚发软，洛阳城内的街道上布满了尸体。皇泰主时期曾将三万家洛阳城内的百姓迁入到宫城内，至此剩下不足三千家。即使贵为王公大臣，连糠麸都吃不饱，尚书郎以下的小官，都得亲自肩挑，饿死的人比比皆是。

然而，也就在这时，局势似乎开始朝有利于王世充一方转变了：一是突厥发兵南下了；二是窦建德消灭了孟海公，开始西救洛阳了！

新任突厥可汗颉利可汗在稳定了内部之后，就把目光转向了中原。其妻子隋义成公主的堂弟杨善经与王世充的使者王文素一起劝说颉利可汗道：“昔日，您的父王启民可汗受到兄弟们排挤，逃往隋朝，幸赖隋文帝的帮助，才拥有这片土地，子孙得以继承。如今，唐朝天子不是隋文帝的子孙，可汗应该拥立杨政道，南下讨伐唐朝，以报答隋文帝的大恩大德。”颉利可汗表示同意，武德四年三月十六日，突厥军队大举南下，前锋一直推进到汾阴（今山西省万荣县西南），二十四日，突厥军队进攻石州（今山西省吕梁市离石区），被李唐石州刺史王集击退。与此同时，在二月份已经攻下周桥的窦建德，活捉了孟海公，结束了对孟海公的战役，他命令部将范愿留守曹州，调发孟海公、徐圆朗的军队，一路西上，驰援洛阳；窦建德的大军进抵滑州，王世充行台仆射韩洪开城迎接。武德四年三月二十一日，窦建德的军队进驻酸枣（今河南省延津县）。紧接着，窦建德的夏军攻克了已投降李唐的管州（今河南省中牟县），杀害李唐管州刺史郭士安；又接连攻克荥阳（今河南省荥阳市）、阳翟（今河南省禹州市）等地。窦建德的大军水陆并进，声势浩大，用船舰运送军粮，逆流而上。王世充的弟弟徐州行台王世辩派遣部将郭士衡率领数千人马，又与窦建德会师，联军共有十余万人马，号称三十万，驻扎在成皋（今河南省荥阳市西北汜水镇）的东面高地，在板渚（汜水注入黄河处）以东修筑宫室，派人与王世充联络。

面对日益紧张的局势，是进是退，成了唐军首要解决的问题。窦建德先礼后兵，他亲自给秦王李世民写信，奉劝唐军退回潼关，返还夺取的郑国的土地，重修旧好。李世民召集文武群臣商议对策，众人均提出暂逼夏军的锋芒，但郭孝恪却提出反对意见，他说：“王世充已经陷于穷途末路，行将面缚出降，窦建德远来增援，这是上天要让我军将他们两家同时消灭啊！应该率领主力进驻虎牢关抵御，伺机而动，一定能将其击破！”记室参军薛收（薛道衡之子）也说：“王世充驻守洛阳，府库充实，所领之兵均为江淮精锐，如今他们唯一缺乏的就是粮食，正因为此，他们才被我军压制，求战不得，又无法长期守住洛阳。窦建德亲自率领大军远来增援，肯定也集中了他全部的精锐，想要一举置我于死地。如果令其顺利进抵洛阳城下，两个敌人合二为一，将河北的粮食输送进城，那么，一场旷日长久的战争才刚刚开始，再无休兵之日，统一全国的进程也将遥遥无期了。如今，大王应当分兵看住洛阳的王世充，深沟高垒，不与王世充作战，您自己则亲自率领精锐部队，先进驻成皋（即虎牢关），厉兵秣马，以逸待劳，一定能够打败窦建德。等到击败了窦建德，王世充自然就投降了，不出二十天，这两个国君一定会被大王生擒。”李世民听后，连连称善。可是，萧瑀、屈突通、封伦等人却说：“我军已非常疲惫了，王世充固守坚城，一时难以攻下，窦建德乘胜前来，兵锋甚锐，我腹背受敌，这不是完全之策。不如退守新安，以等待敌人出现可乘之机。”李世民说道：“王世充接连战败，军粮吃尽，上下离心，不用强攻，可以坐困。窦建德刚刚击败孟海公，将领骄傲轻敌，士兵已经疲惫，我进驻虎牢关，扼住其西进的咽喉要道。假设他胆敢冒险与我决战，我将轻松打败他；如果他狐疑不战，不出十天一月，王世充那里自然瓦解。洛阳城破之后，我军将士气百倍，一举两得，在此一行。如果我军不速速东进，一旦窦建德占领了虎牢关，各个新归附的城池一定会丢掉，两股敌人合二为一，将更加强大，能有什么可乘之机？我决心已下！”屈突通等人又请求撤去洛阳之围，以观其变，李世民也没有答应。李世民下令将唐军一分为二，让屈突通等人作为齐王李元吉的副将率军继续围困洛阳，他自己则亲自率领三千五百名骁勇之士前往虎牢关。当时，唐军白天行动，从北邙山经河阳，向巩县而去，王世充登上城楼眺望，不知唐军的意图，不敢出击。