双方在战斗首先在东线中路打响。建元二年一月，魏军陇西公拓跋琛所部攻陷了马头城，杀死了南齐太守刘从。马头城，又名马头戍，在南北朝时期，有不少地方被称为马头城，仅仅淮河南岸战略要地就有两个马头城，一个在安徽省寿县西北二十里的淮河南岸，是防御寿县的要塞；另一个在今安徽省怀远县东南，为汉代当涂故城，东晋在江南侨立当涂县，而故县则废为马头城，这里又设立了马头郡，位于寿县的东北方向。前者是扼守颖口（颍河注入淮河之口）的战略要地，后者是扼守涡口（涡河注入淮河之口）的要塞。从魏军拓跋琛为中路、马头城设置有太守这两点上分析，此地并非寿阳西北的马头戍，而是寿阳东北的马头城。中路魏军占领马头城之后，淮河中路门户洞开，淮西另一重镇徐州治所钟离（安徽省凤阳县东北临淮关）就暴露在魏军之下，齐高帝萧道成立即命令中领军李安民率领禁卫军火速北上增援钟离。此时，担任徐州刺史的是崔思祖的同族、曾任萧道成骠骑司马的崔文仲。钟离非马头城可比。中路魏军在此被崔文仲击败，撤退。魏军败退后，崔文仲又命令军主崔孝伯等人率军乘胜渡过淮河，攻下了魏军的茬眉戍（今地不详），杀死魏军戍主龙得侯及阳平太守郭杜羝、馆陶令张德、濮阳令王明。得到捷报，齐高帝说：“敌人攻陷我马头城，我军攻下了敌人的茬眉戍，足以补偿。”二月十九日，中路齐军继续扩大战果，朝魏国徐州腹地发起进攻。崔文仲又派遣军主陈靖进攻魏军竹邑（安徽省宿州市被符离集）戍主白仲都，派军主崔延叔进攻魏淮阳（江苏省睢宁县）太守梁恶，均取得胜利，斩杀了白仲都和梁恶。据《魏书》记载，在这一年的二月，北魏朝廷派遣尚书游明根率领两千骑兵驰援淮北，游明根所率之军当属平城禁卫军，北魏朝廷派其火速南下，也说明了齐军的攻势非常迅猛。
中路魏军陇西公拓跋琛的主力部队在钟离城下受挫后，去向不明。最大的可能是，这支魏军没有在钟离城下恋战，而是按照既定的方针，弃后方及东西两路于不顾，继续向广陵杀来。驻守广陵的是齐高帝的近臣、南兖州刺史王敬则，此时他的职务不仅仅是南兖州刺史，还是使持节、散骑常侍、都督南兖兖徐青冀五州军事、安北将军，是整个淮河中下游的总指挥，王敬则虽然也经历过战阵，但他能够爬上如今的高位，靠的却是发动政变：前与寿寂之一起诛杀了刘宋前废帝刘子业，后又同萧道成废杀了刘宋后废帝刘昱。当听说魏军前来后，王敬则全无了往日威风，吓得弃城而逃。齐高帝因其是功臣没有予以追究，而在三月任命护军将军陈显达接任。王敬则逃回建康后，广陵百姓均四散逃跑，淮南、江北一片骚动。大约就是在这时，齐高帝采取了避实击虚、与敌对攻、攻敌所必救的策略，命令徐州刺史崔文仲主动向淮北魏军后方发起了反攻，并取得了一连串的胜利，迫使中路魏军不得不从前线撤离。据《南齐书·陈显达传》记载，等陈显达抵达广陵之后，魏军就撤退了。
在中路魏军发起进攻的同时，西路魏军也对寿阳发起了进攻。魏军先派薛安都之子薛道标率军进攻寿阳，齐高帝对齐郡（治所瓜步）太守、刘乘民之子刘怀慰下书说：“听说薛道标将率军前来，他的儿子媳妇们都在建康，可以采取多种措施误导敌人，即使敌人不全相信，也让他们感到疑惑。”于是，刘怀慰即假冒冠军将军薛渊（薛安都侄儿）的名义，给薛道标写信劝降。北魏朝廷得到消息后，果真将薛道标召回，而以梁郡王拓跋嘉统领他的军队。据《魏书》记载，原本确定的西路军统帅是薛虎子，而非薛道标，这也许是南朝人将二人混淆所致，而可能的情况是：错中有错，当北魏朝廷得到了南齐方面招诱薛氏的书信后，冯太后基于原本就对薛虎子有所猜忌的缘故，就将薛虎子召回了。二月一日，拓跋嘉与刘昶率领魏军朝寿阳扑来。《南齐书·魏虏传》称，“发众遣丹阳王刘昶为太师”，此次刘昶前来，路过彭城时，他先到其母亲的旧居哭得死去活来，然后，又踏遍旧居的各个房间，处处落泪，令身边的人无不伤心。等到将要出战，他西面向魏军将士们下拜，涕泗横流，痛陈自己家国灭亡、流落异国的辛酸，刘昶的演讲声情并茂，荡气回肠，魏军将士无不感叹不已。
西路魏军号称有步骑二十万之众，豫州刺史垣崇祖召集众将商议对策，他对大家说：“敌众我寡，应当出奇制胜。我们需要修缮外城待敌，但是，外城太大，兵力不足，必须以水来帮助我们守城，我打算在淝水之上修筑堤坝，用水来浇灌外城，在城外形成三面都是泽国的态势，你们看怎样？”大家均提出不同意见：“过去，拓跋焘入侵时，刘宋南平王刘铄的军队完好无损，却都放弃了外城，退守内城，如今的形势与当时相比要严重十倍。从古至今，从来没有在淝水之上修筑堤坝的，这是因为地形不便，即使蓄积了河水也没有用处。如果一定要这么做，恐怕不合适。”垣崇祖说：“你们大家只看到其一，没有看到其二。如果舍弃了外城，敌人肯定会以此为基地，在城外从容修筑攻城器具，在外城之内构筑围墙，这样以来，敌人在四周都会通行无碍，而我们则会内外受敌，等着被敌人生擒活捉。固守外城，修筑堤坝，这是我既定的决策，谁说也没有用。”于是，他下令在寿阳的西北方向构筑堤坝，并在堤坝的北面修筑了一座小城，四周开挖了很深的壕沟，命数千人驻守在小城内。垣崇祖对长史封延伯说：“敌人贪心而且寡谋，肯定要拼尽全力夺取小城，目的要破坏掉堤坝。他们看到壕沟狭窄，城池又小，认为一举就能攻克，一定会象蚂蚁一般蜂拥攻城的。这个时候，掘开堤坝，河水在狭窄的壕沟里会象三峡一样湍急，大水冲过，敌人必定会落入水中，这岂不是一件事半功倍的事吗？”
果然不出垣崇祖所料，魏军进抵寿阳城下后，即先行着手对小城的进攻。魏军从西面挺进到堤坝以南，而后分出一部兵力从东路向小城发起了进攻。垣崇祖头戴白纱帽，坐着小轿，从容登上了寿阳外城，远远观察着魏军的行动，亲自给小城守军发去信号。一直到下午3点多，垣崇祖发出决堤的指令，小城守军掘开了堤坝。霎时间大水奔流而下，魏军的进攻部队全部从攻城器具上落入水中，卷进深不可测的壕沟之内，顷刻之间就被淹死了数千人。大水冲过寿阳城外后，寿阳四周成为泽国，魏军丧失了攻城条件，剩余敌人只得撤离。另据《南齐书·周盘龙传》记载，原任司州刺史周盘龙也协助垣崇祖决堤水淹魏军，魏军被水淹之后，周盘龙率领辅国将军张倪带着步骑军在寿阳以西的泽国中追杀敌人，杀伤了数万人，缴获了魏军大量辎重。该传所称的数万人，显然有所夸张。
垣崇祖自视甚高，过去在淮阴与萧道成见面之初，就自比为韩信、白起再世。萧道成的手下不以为然，唯独萧道成予以认可。寿阳之战后，齐高帝萧道成非常高兴，对群臣说：“垣崇祖向我保证肯定能击破敌人，果然不假。他经常自比为韩信、白起，真是如此啊！”进垣崇祖为都督，进军号为平西将军，增封食邑一千五百户。垣崇祖听说萧道成给陈显达和李安民都有鼓吹，也向萧道成索要，萧道成下诏说：“韩信白起岂能不与别人不同？”于是，也赏赐给他一部鼓吹。高兴之余，萧道成还晋封老将周盘龙为太子左卫率，并给周盘龙的爱妾杜氏送来了二十枚金首饰，并亲笔写下“送给周大人的阿杜”。