1364年八月，徐达再次被朝廷委以重任，官拜大将军，并在副将军常遇春的协助下，率领水陆大军二十万人挥师东向，这一次的战略目标是彻底消灭张士诚，首当其冲的地方是湖州。
湖州之战打得异常激烈，守军派出部分兵力分作三路出战，徐达亦分三军迎战，另派遣一路军队扼其归路，致使守军在战败回撤时入不了城，最终在城外被歼，有二百多名军官成为俘虏。
为了解开湖州之围。张士诚派出吕珍等人以六万人马赴援。用兵谨慎的吕珍在旧馆地区建筑了五个营寨以自固，企图等候时机与湖州守军一起内外夹击来犯之敌。
徐达不会在腹背受敌的情况下与敌作战，他针对性地采取“敌变我变”之策，果断命令常遇春负责打援，决不能让敌人的援军进至湖州城外。常遇春带兵选择偏僻的道路穿插到旧馆的后面，筑起十个营垒与吕珍的营寨对峙。战场形势顿时出现了犬牙交错的奇观——徐达包围湖州之敌，吕珍则在徐达的后面眈眈，而常遇春又在吕珍的后面摩拳擦掌，一环紧靠一环，互相牵制。
旧馆地区的吕珍部队进退失据，再拖延时日便有成为瓮中之鳖的可能。张士诚为了打破僵局，多次派出援兵为吕珍声援，最后亲自带精兵前来参战。两军决战于皁林，结果御军无方的张士诚惨败而逃。
张士诚多次救援失败，大将吕珍无计可施，被迫投降。
湖州与后方失去联系，已经彻底被孤立。守军在绝望的情况下打开城门投降。徐达一鼓作气攻陷了江州，从太湖方向进而围攻张士诚的老巢平江（今江苏苏州），并筑起长壕围城。长壕外围还建立很多由精兵守卫的堡垒与敌台，里面配置着大量弓弩与火铳等射程比较远的兵器，防止敌军突围。攻城部队在数以千计的火炮与抛石机的配合下昼夜不停地出击，平江城墙被各种攻城武器打得千疮百孔，糜烂不堪。
漫长的平江攻防战从1365年11月25日打响，一直持续到1366年九月为止，差不多打了一年。徐达过去没有独立指挥过规模如此之大、时间如此之长的战事，他在围城期间，多次将作战布置上报给远在应天的朱元璋。为此，朱元璋专门下了一个命令，这个命令首先表扬徐达每事上报是忠诚的表现，但接着语锋一转，引用了“将在外，君令有所不受”的古训，勉励身在前线的徐达不必事事向后方请示，可以根据情况独断专行，换成今天的话就是“你办事，我放心”的意思。这无疑是对徐达极大的信任。
1366年九月八日，平江城在对手一波又一波的攻击下终于支撑不住，失守了，散布各处的二十五万残军陆续成为俘虏，而负隅顽抗的张士诚也沦为阶下囚，最终死于狱中。徐达在入城之前与常遇春相约：“我营在左，你营在右”，以保持秩序，又下令将士不得扰民，否则军法从事。大军入城果然与城内百姓和睦相处，没有发生尖锐的矛盾冲突。
当大军凯旋回朝时，徐达当之无愧地受封为信国公。
“一将功成万骨枯”，这话没错。徐达在多次“以战练兵”的过程中积累了非常丰富的实战经验，在同僚之中无出其右。当时号称名将的，首推徐达与常遇春。两人都是智勇双全，深为朱元璋所倚重，是未来北伐中原的首选将帅。
北伐中原是统一天下的先决条件。“遗民泪尽胡尘里，南望王师又一年”，南宋诗人陆游这句爱国诗句代表汉族人民反抗异族压迫，统一河山的历史性宿愿，自从北宋灭亡，北方陷入异族的铁啼之下已经长达二百四十年。如今光复河山的日子已经临近，1367年十月，将蒙古贵族驱逐出中原的历史任务终于众望所归地落到了徐达的肩上，他奉命为征虏大将军，而常遇春则为副将军，两人统帅二十五万步骑大军，北取中原。
这支虎贲雄师按照朱元璋的战略布置如摧枯拉朽一般从出发，横扫山东与河南，先后攻克济宁、济南、益都、汴梁、洛阳等名城与虎牢关、潼关等一大批据点。因为元军内部分裂，其主力部队在山西与陕西采取观望态度，故北伐大军进展顺利，所过之处，鲜遇对手。
北伐军在中原节节获胜之际，朱元璋选择1368年正月在应天（后改名南京）即帝位，建立明朝，遥授远在前线的徐达为右丞相兼太子少傅。当收复河南的消息传到南京，这位喜不自胜的新皇帝从江南出发，亲自来到黄河南岸的汴梁，与徐达见面，共商下一步的打法。他们决定按照预定的计划分兵驻守河南与陕西交界的军事要点潼关，以监视陕甘之敌兼保护侧翼，主力则回师山东，用雷霆万钧之势直捣大都，给摇摇欲坠的元朝以釜底抽薪的一记重击。
往后的军事形势完全按照预定的计划发展。徐达与常遇春大张声势地会师于河阴，派遣部分将士以偏师进入河北，虚张声势，迷惑敌人，主力则连下卫辉、彰德、广平、临清等城，同时疏通贯穿山东、河北的大运河，以水师运粮。沿途元军一触即溃，德州、长芦、直沽等地纷纷易手，势如破竹的明军以水陆两路并进，于七月二十八日拿下大都的门户通州。元朝的未代皇帝元顺帝惶惶不可终日，在第二天带领后妃、太子、丞相、等贵族官僚以及部分亲军仓皇撤离大都，逃向塞外。八月初二日，徐达分兵为左中右三路向大都进军，填平齐化门外的壕沟，顺利登城，俘杀留守的监国淮王帖木儿不花，左丞相庆童等人，元朝灭亡。
徐达进入大都之后，只用铁腕手段清除了那些拒不投降的前朝官吏，没有妄杀一名百姓，他命令指挥张胜以兵千人守卫元朝宫殿，并查封仓库，将清点所有的宝物归公，同时严令禁止士卒胡作非为、横行霸道。居民生活一切如旧，城内的市场照样人来人往，商铺照常营业。明代史书《鸿猷录》在评价徐达的所作所为时将其和北宋开国名将曹彬相提并论。曹彬是儒将，宋史称他在平定南唐金陵（今南京）时“不妄杀一人”。而徐达攻克大都之后，也是不滥杀无辜，被时人誉为有古代儒将之风。
明朝将大都改名北平，屯驻重兵守卫，逐步将这个地方建设成为防范蒙古贵族卷土重来的军事重镇。而徐达暂时停止了对流亡塞外的元顺帝的穷追猛打，转而率领主力向山西进军，从而与名震天下的元军名将王保保交手。