北魏寿春象一把尖刀一样插入淮南，将南朝江淮防线搅得支离破碎，萧衍决定从收复寿春入手，恢复淮河防线，这是他发起这次北伐的目的。杨公则等人在寿春周边地区与魏军发生的这一系列战斗，只是梁武帝大举北伐的前哨战，但梁军的进攻却遭到了魏军顽强的抵抗，梁军的战斗遭到了挫败。同年十月五日，梁武帝正式发布大举北伐的命令，他任命扬州刺史临川王萧宏为都督北讨诸军事，以尚书右仆射柳惔为副将。梁朝王公贵族以下官员都向朝廷上缴租税、稻米，支援大军。萧宏将大本营设在洛口。
萧衍对这次北伐非常重视，对萧宏寄予了厚望，给萧宏之军配备了大量先进的武器装备，北魏人认为近百年间南方军队的武器、军容从未有如此之精、之盛的。在后方，梁朝的统治机器全部围绕着这次北伐而高速运转着。时任左卫将军的梁武帝亲信吕僧珍白天在中书省里值班，夜里又到秘书省值班；侍中徐勉在宫中负责起草军国文书，日夜操劳，往往数十天才回家一次。
天监五年（公元506年），梁魏之间的战事进一步扩大。梁城（安徽省淮南市田家庵附近）、洛口、合肥，分别位于寿春的西北、东北和东南方向，这三座镇戍与寿春互为表里，梁军要想拿下寿春，就必须先占领外围的这三座镇戍，而梁城和洛口距离寿春较近，梁军占领这两座堡垒后，不仅可以确保援军源源不断地沿淮河而来，而且可以切断魏军对寿春的增援，对寿春形成巨大的压力。此时驻守梁城的正是投降北魏的南朝名剑陈伯之。一月，南梁徐州刺史昌义之率军朝梁城发起进攻。与此同时，为了牵制魏军，萧衍还下令冀州刺史桓和率部进击魏国南青州（治所在今山东省沂水县），但却无法取胜。二月，昌义之所部与陈伯之的魏军发生战斗，昌义之战败。与此同时，西线梁军也遭到了失败。南梁江州刺史王茂率领数万大军对北魏荆州（河南省南阳市邓州市境）发起进攻，招诱魏国边民以及山蛮，另行设立了宛州，派遣宛州刺史雷豹狼、军主曹仲宗等人率众两万袭取了北魏的河南城（河南省南阳市新野县东北）。北魏宣武帝任命杨大眼为武卫将军、假平南将军、持节，都督统军曹敬、邴虬、樊鲁等各军南下进攻梁军。四月二十七日，魏军大破梁军，南梁辅国将军王花、龙骧将军申天化被杀，梁军损失了两千多人（《魏书·杨大眼传》称：“俘馘七千有余”）。杨大眼乘胜进攻河南城，王茂逃回梁境，魏军一直追到汉水北岸，攻拔了梁国的五座城池，凯旋而归。北魏征虏将军宇文福侵掠南梁司州，俘获了一千余百姓而还。
随着战事的扩大，北魏政府也采取了一系列的因应措施。二月，北魏宣武帝下诏向王公大臣征求意见建议。治书侍御史阳固上书称：“当务之急是要亲近宗室，勤于政务，重视农桑，贬低工人和商人的地位，根绝谈玄之风，减少花在宗庙上的费用，以拯救百姓饥寒之苦。”当时，宣武帝信任高肇，疏远宗室，又喜好佛法，不亲政事，因此，阳固才特意指出。三月，元恪又下诏以“戎旅大兴，诏罢诸作”。四月十六日，北魏政府任命中山王元英为征南将军、都督扬州、徐州二州诸军事，率领十万魏军抵御梁军，宣武帝授权元英可以全权指挥所属各州郡的军队。
在寿阳前线，临川王萧宏的记室参军丘迟给魏将陈伯之写下了著名的《与陈伯之书》：“迟顿首陈将军足下：无恙，幸甚幸甚。将军勇冠三军，才为世出，弃燕雀之小志，慕鸿鹄以高翔。昔因机变化，遭遇明主；立功立事，开国称孤。朱轮华毂，拥旄万里，何其壮也！如何一旦为奔亡之虏，闻鸣镝而股战，对穹庐以屈膝，又何劣邪！寻君去就之际，非有他故，直以不能内审诸已，外受流言，沈迷猖獗，以至于此。圣朝赦罪责功，弃瑕录用，推赤心于天下，安反侧于万物。将军之所知，不假仆一二谈也。朱鲔涉血于友于，张绣剚刃于爱子；汉主不以为疑，魏君待之若就。况将军无昔人之罪，而勋重于当世。夫迷途知反，往哲是与；不远而复，先典攸高。主上屈法申恩，吞舟是漏。将军松柏不翦，亲戚安居；高台未倾，爱妾尚在。悠悠尔心，亦何可言。今功臣名将，雁行有序。佩紫怀黄，赞帷幄之谋；乘轺建节，奉疆埸之任。并刑马作誓，传之子孙。将军独腼颜借命，驱驰毡裘之长，宁不哀哉！夫以慕容超之强，身送东市；姚泓之盛，面缚西都。故知霜露所均，不育异类；姬汉旧邦。无取杂种。北虏潜盗中原，多历年所；恶积祸盈，理至焦烂。况伪孽昏狡，自相夷戮；部落携离，酋豪猜贰。方当系颈蛮邸，悬首藁街，而将军鱼游于沸鼎之中，燕巢于飞幕之上，不亦惑乎？暮春三月，江南草长，杂花生树，群莺乱飞。见故国之旗鼓，感生平于畴日，抚弦登陴，岂不怆悢！所以廉公之思赵将，吴子之泣西河，人之情也。将军独无情哉？想早励良规，自求多福。当今皇帝盛明，天下安乐。白环西献，楛矢东来。夜郎滇池，解辫请职；朝鲜昌海，蹶角受化。唯北狄野心，倔强沙塞之间，欲延岁月之命耳！中军临川殿下，明德茂亲，总兹戎重。吊民洛汭，伐罪秦中。若遂不改，方思仆言。聊布往怀，君其详之。丘迟顿首。”丘迟的这封劝降书，晓之以理，动之以情，陈伯之接到这封书信以后，即于三月二十五日率领寿阳和梁城的本部八千余众投降了梁军。魏国政府诛杀了陈伯之的儿子陈虎牙。梁武帝下诏任命陈伯之为西豫州（治所边城，湖北省黄冈市境）刺史，还未上任，又改任为通直散骑常侍，后来，陈伯之死于家中。