陈庆之进入洛阳以后，应当也扩充了军队，但毕竟洛阳城内来自南方的人数较少，经过扩充以后的部队尚不足一万，而元颢进入洛阳后，他能指挥的军队已达十万之众，是梁军的十倍。陈庆之的副将马佛念劝说元颢道：“功高不赏，震主身危，这两种情况都出现在将军身上，将军岂能不有所考虑？自古以来，废昏立明，扶危定难，立下大功的很少能够善终。今将军威震黄河、洛水地区，功劳太大，权势太重，被魏人猜忌，可能会出现意外，对此您难道不担心吗？不如趁着他没有防备，杀死元颢，占领洛阳，这是千载难逢的时机！”马佛念的计划是劝陈庆之杀元颢自立为王。陈庆之出身寒门，一直在皇帝身边工作，处事非常小心谨慎，对于马佛念的这一雄心勃勃的计划，陈庆之哪敢接受？但是，陈庆之也对自己在洛阳的危险处境深感忧虑，元颢过去曾任命陈庆之为徐州刺史，陈庆之遂坚决要求离开洛阳，前往彭城上任，元颢当然明白陈庆之一旦到了徐州，等于是将徐州拱手让给了南梁，因此，就是不让陈庆之前去。他对陈庆之说：“主上将洛阳的安危全部托付给你，突然听说你要离开这里，想去彭城，会说你急急忙忙地贪图富贵，不为国家着想，不仅有损你的名声，恐怕我也会受到连累。”陈庆之遂不敢再坚持。
尔朱荣的军队与元颢的军队隔着黄河对峙。元颢命令安丰王元延明率军沿着黄河南岸防守，以陈庆之率军驻守北中城，元颢自己则驻守在黄河南岸。陈庆之在北中城三天之内与尔朱荣的军队交手了十一次，杀伤很多敌人。有一批来自夏州的人替元颢防守黄河河中的小岛，他们暗中与尔朱荣联络，计划突破元颢河桥上的防线，让尔朱荣大军顺利渡过黄河河桥。然而，等到这批人突破元颢驻守在河桥上面的军队之后，尔朱荣的接应部队却未能及时赶到，元颢率领南岸军队将其全部斩杀，尔朱荣眼看机会丧失，禁不住非常失望。由于尔朱荣军中没有船只，又无法突破黄河河桥，尔朱荣再次产生了撤军的打算。黄门郎杨侃说：“大王从并州出发之日难道已经知道了夏州义士们的这个计划、特意来接应他们吗？还是为了完成匡复帝业的历史使命才来呢？胜败乃兵家常事，何尝不是经常被打散以后再集合起来、伤口痊愈后再来战斗呢？何况现在我们并没有什么损失，岂能仅仅因为受到一点点挫折就要放弃一切？如今，天下危机四伏，都在注视着大人您的一举一动，如果没有一点成果，就匆忙退去，将会导致人心失望，各自心生观望，届时双方将胜负难料。不如征调民间的木材，主要用于建造木筏，也可以建造一些船只，沿着黄河北岸一字排开，数百里之内任何一处都能成为我们的渡河点，首尾相距远了，元颢就防不胜防，一旦我们渡过黄河，必定能立下大功。”高道穆也说：“如今皇帝颠沛流离，主上忧愁，是臣下的耻辱。大王拥有百万之众，辅佐天子而号令诸侯，如果分散出一部分兵力建造木筏，全线出击，元颢很快就会失败，为何要丢掉这么好的时机，给元颢喘息的机会，征调全国的军队！这就是所谓的把小蛇养成大蛇，到时候后悔都来不及了！”尔朱荣回答：“杨侃已说了这层意思，再与大家商量商量。”刘灵助对尔朱荣说：“不出十天，黄河以南必能平定。”
伏波将军杨标家族就居住在马渚，自称有数艘小船，请求担任向导。闰六月十九日，尔朱荣命令车骑将军尔朱兆与大都督贺拔胜用木材捆绑成木筏，率领数千精锐骑兵趁着夜色从马渚西面的硖石（今河南省孟津县西二十里处渡口）渡过了黄河，袭击驻扎此地的元颢之子、领军将军元冠受，元冠受率领五千步骑迎战，尔朱荣大破元冠受，临阵将其生擒。安丰王元延明的部队风闻尔朱荣的部队渡过黄河后，也不知渡过来了多少部队，吓得是四散奔逃，一时间，引发了连锁反应，元颢的各路人马都是魂飞魄散，各自逃命。元颢无计可施，与手下数百骑兵仓皇南逃。陈庆之集合数千步骑结成军阵，也向东撤离。听说元颢失败后，黄河以南的各个城池又都向北魏投降了。
尔朱荣亲自率军追击陈庆之，在陈庆之撤军途中，正巧遇到嵩山河水暴涨，梁军死亡逃散，几乎全军覆没。陈庆之剃去头发，假扮成和尚，从小路穿过汝阴（安徽省合肥市），回到了建康，仍以功勋被任命为右卫将军，封永兴县侯。据《洛阳伽蓝记·平等寺》称：（永安二年）“七月，北海（指北海王元颢）大败，所将江淮子弟五千，尽被俘虏，无一得还”。据此，《梁书》所称“河水暴涨”一说，也许是掩饰梁军全军覆没的托辞，因为，战败的话，主将有可能受将士保护脱逃，而如果是河水暴涨，河水岂能认人，仅仅让陈庆之一人活着回去？
元颢从轘辕（今河南省偃师市东南）南逃到临颍（今河南省临颍县），身边的随从全部逃散，他被临颍县的士卒江丰斩杀，闰六月二十三日，他的人头被送到了洛阳。临淮王元彧又投靠了孝庄帝，安丰王元延明则带着妻子儿女南逃到了梁国。
陈庆之率领数千之众数月之间迳取洛阳，所向无敌，威震中原，可是，就当时的情形来看，陈庆之孤军深入，已陷于十分危险的境地，即便是元颢击败了尔朱荣，陈庆之的梁军也是凶多吉少，难保不被元颢反噬。然而，刚愎自用且已届垂暮之年的梁武帝却对此毫无察觉，耳中听到都是群臣一片称颂之声，王俭之孙、中书黄门侍郎王规回到家中说：“道家说过：‘不是做功难，而是成就功业难。’羯胡盘踞中原，为时已久，桓温得而复失，刘裕也没成功。我孤军无援，深入敌境，前后不解，粮运难继，这场战役将成为灾祸的导火索啊！”对于陈庆之军的险境，稍微动动脑子都会一清二楚，可是，整个梁朝朝廷上竟无人敢言，是自高自大的梁武帝的悲哀？还是梁朝群臣的悲哀呢？