光武帝刘秀即位后，严令拆除各地出现的坞堡。但东汉中期以后，随着中央权威的衰落，地方豪族势力日益强盛，往往聚族而居，形成城堡型的大宅，其形态可参考南迁闽赣的客家人的土楼、围屋。东汉尚书崔寔编撰的《四民月令》记载，当时北方豪族在农闲季节都会修缮堡垒，“缮修门户，警设守备，以御春饥草窃之寇”；到了九月秋收之时，又要搞战备演习，“缮五兵，习战射，以备寒冰穷厄之寇”。西晋末年，五胡乱起，来不及南迁的士民就涌入这些地方大族的城堡，聚众自保。史书记载，当时冀州就有一百多所堡壁，关中更是高达三千多座，几乎是城堡遍地、豪强林立。
中原地区因为毗邻江淮，民众大多南迁，留下来的士民又饱经胡骑杀掠，城市和乡村尽皆毁灭，幸免于难的人们几乎都聚集到坞堡之中。史书记载，当时河南一带“保壁大帅数不盈四十，多者不过四五千家，少者千家五百家”，也就是说，中原汉人据守的城堡只有不到四十座，大者可达两三万人，小的居民只有两三千人。相对于动辄数万的胡骑，这些城堡宛如汪洋里的小舟，只能勉强自保罢了。所以，为了在夹缝里生存，他们往往对南边的东晋和北边的羯赵保持骑墙态度。对于只有可怜巴巴两千人的祖逖，他们是不太买帐的。
祖逖的第一次尝试就碰了钉子。为了建立统一战线，祖逖按照先易后难的原则，派参军殷乂去拜会已归顺东晋的太丘（今河南永城）堡主张平。谁料殷乂这家伙成事不足、败事有余，到了人家的地盘，却拿出一副高高在上的钦差派头，嘲笑张平屋子是“马厩”，还威胁要人家的脑袋。张平一怒之下就要了他的脑袋。为了立威，祖逖只得进攻张平，但中原坞堡都是易守难攻，花了一年多时间才通过策反攻占。
有了这次血的教训，祖逖找到了窍门：要收揽这些民间豪杰，不但要讲民族大义、国家大计，还得拿出江湖大哥的气魄和手腕，恩威并施。据守谯城（今河南夏邑北）坞堡的樊雅势力很大，一直抗拒祖逖。祖逖就请来原籍谯城的东晋官员桓宣，老乡见老乡、两眼泪汪汪，桓宣开诚布公地说：“祖将军誓言荡平刘聪、石勒，希望得到您的援助。以前殷乂对义军轻薄无礼，绝非祖将军的本意啊！”，樊雅听后冰释前嫌，立即归顺了祖逖。石勒这才回过神来，派遣侄子石虎来攻打谯城，被北伐军打得大败逃归。一时间，祖逖声势大盛，原本观望怀疑的坞堡纷纷来电来函、献质归义，河南抗战的统一战线初步建立起来。
形势大好之时，最严峻的考验也来了。
祖逖征讨张平、樊雅之时，曾向河南各坞堡征集援兵，一方面是战事需要，另一方面也是试探地方势力的态度。在河南的诸多坞堡中，抗胡意志最坚决、势力也最强大的，当属陈午的乞活军。乞活本是并州流民，参与过洛阳保卫战在内的历次抗胡战役。西晋灭亡后，陈午带着五千户乞活据守蓬陂城堡（位于今河南开封），连石勒也无可奈何。征讨张平、樊雅之役，陈午就派大将李头率军支援祖逖。祖逖对李头非常厚待，还把坐骑相赠，结下了深厚情谊。
不曾想，李头却因此惹上了杀身大祸。公元319年初，陈午去世，死前遗嘱“不得投靠羯胡”，但他的叔父陈川接下舵把子后，却猜疑祖逖会吞并自己，于是全盘推倒了既定方针，不但杀死亲近祖逖的大将李头，还派遣兵马抢掠其他坞堡，几乎堕落成了一个土匪头子。遭到祖逖的讨伐后，陈午干脆破罐子破摔，直接投降了世仇石勒。
十几年的老对头投降了！石勒大喜过望，立即派石虎去接收。因为上次在谯城饱尝祖逖的老拳，石虎不敢大意，带了足足五万大军助阵。面对羯赵与陈川的联军，祖逖力不能敌，只好任其迁往河北。陈川一走，蓬陂城堡就成了无主之地。
蓬陂城堡是乞活军经营多年的阵地，修筑于山坡之上，下有流水环绕，东西两面各自矗立一座石砌的巨型堡垒，称作“东西二台”。石虎班师之时，石勒任命大将桃豹为豫州刺史、留守西台，祖逖也针锋相对，派部将韩据占据东台。一山不容二虎，一城不容二主。两军很快就打起了激烈的城堡争夺战。
桃豹可不是无名小辈，是最早追随石勒起兵的八骑之一，后来官至羯赵太保。他手下都是身经百战的羯族老兵，战力强悍。这年十月，趁着风雪严寒，祖逖暗遣督护陈超偷袭桃豹，反被桃豹阵斩。桃豹领军冲击东台，也被晋军的弩箭、炮石击溃。两军对峙了四十多天，还是僵持局面。
面对这个相当棘手的老军头，祖逖决定智取。
在荒凉的中原打持久战，最大的对手不是敌人的拳头，而是自己的肚子。两军将士各有数千，分别聚集在蓬陂城堡的两台之中，日耗粮草不可胜计，但周边各地田野荒芜，根本没有粮草可以搜掠。羯赵军是靠石勒从河北调粮补给，祖逖军是从淮南远程输送，在吃饭问题上倒是难兄难弟。祖逖饿得眼冒金星，忽然心生一计，往空粮袋里填上沙土，派一千多军士络绎不绝地运上东台。他特意装了几袋真大米，让几个人背上走在最后面。饿昏头的羯赵军见有人落单，就劫道抢走了。看着这几袋珍贵的大米，羯赵官兵乐极生悲：我们啃的是草根树皮，人家天天是大米白面啊！这仗没法打了！羯赵军士气大跌，从此再没发动攻势。
其实石勒还是很牵挂老兄弟的，派了悍将刘夜堂押运一千头驴的粮食给桃豹。祖逖早有准备，在汴水北岸撒出哨兵斥候，早就掌握了运粮队的行踪。刘夜堂跟着石勒打了很多硬仗血仗，一向轻视祖逖这样的土八路。他不设警戒地到了汴水畔，果然遭到祖逖部将韩潜、冯铁的伏击，只能仓皇逃窜。晋军把缴获的粮草全部搬运到东台，一路还高歌着
“……没有吃，没有穿，自有那敌人送上前；没有枪，没有炮，敌人给我们造。我们生长在这里，每一寸土地都是我们自己的，无论谁要强占去，我们就和他拼到底……”
桃豹见得这般光景，彻底泄了气，就连夜撤军出城，一口气连奔三百里，逃到了黄河渡口东燕城（今河南延津）。再往后退，就是石勒的大本营河北了，五百里外就是羯赵的都城襄国。石勒大惊，严令桃豹据守黄河南岸，又动员了一万多精锐骑兵反攻河南。
在一般人眼里，在一马平川的大平原上，羯赵铁骑无往不胜，祖逖的步兵部队是无法应付的。特别是不久前石虎救援陈川时，强大的羯赵骑兵部队给晋军留下了严重的心理阴影。但如果不能击退这支骑兵，祖逖就只能拱手让出血战的成果，弃土撤军。祖逖左思右想，还是决定迎战。
该来的一定会来，只要直面，无须徘徊；
兄弟们，让我们挺身一战，快哉、快哉！