张士诚财大气粗，占领面积也不小，自绍兴至济宁，南北两千余里，以长江为界分成南北两部分。江南防守比较坚固，江北的淮东地区就相对薄弱多了。1365年秋，徐达被任命为总兵官。他统率常遇春、胡美、冯胜诸将，带领骑兵、步兵和水军，渡江北上，向淮东地区发动进攻，以翦除张士诚的肘翼。徐达很快攻下泰州，然后将自己的兵士分成两股，一部分攻取兴化，另一部分自己率领进围高邮。张士诚知道徐达的厉害，自然不敢小看他，为了牵制徐达，出兵进攻江南的宜兴。徐达得到消息，命冯胜围攻高邮，常遇春驻守海安，自己统率一支精兵，渡江迎击张士诚，跟张士诚正面冲突，解除了宜兴之围。但不久，冯胜误中高邮守敌的诈降之计，派人带兵入城，全部被杀。第二年三月，徐达回师高邮，在张士诚的围墙外架起高架子，将城内兵士盯得都起鸡皮疙瘩了。张士诚这个汉子在城内誓死抵抗，就是不出城也不投降，徐达就和他死耗。终于在张士诚耗不住的时候，攻入城内，歼灭城中守敌，缴获大批马匹和粮食。接着，乘胜追击，移师北攻淮安，袭破张士诚部将徐义的水军，淮安守将梅思祖见徐达仿佛见阎王，乖乖地开城迎降，并献出所辖的四个州。徐达攻兴化，转安丰，俘获元将忻都。元军见安丰失陷，出兵进攻徐州，徐达带兵迎击，俘斩万余人，元军狼狈而逃。至此，淮东全部被攻克，张士诚的势力被压缩到江南的浙西地区了。
朱元璋见淮东诸地全部平定，召集军事会议，研究下一步的行动方案。会上，右相国李善长提出伺机而动的主张，他说：“张士诚罪行累累，早就应该把他打回老家。但是，据我观察，他虽然屡吃败仗，但兵力还没有衰竭，而且很肥，百姓有钱，储积了不少钱粮，恐怕不好攻破。我们应该先按兵不动，等到时局发生变化，有机可乘，再发动进攻。”徐达见朱元璋脸色暗下来，知道李善长的话老朱不爱听了，于是徐达进言说：“张士诚骄奢淫逸，暴殄奢侈，现在就是上天要灭亡他的时候，他手下的将士如李伯升、吕珍等人，猥琐龌龊，不足挂齿，只不过是些只知娱乐的家伙们罢了。为张士诚策划的谋士，都是些书生，迂腐得能酸掉牙，能谋出什么大计？我们现在率领的是精锐之师，讨伐叛逆之人，短时间内我们即可以把个张士诚给制服了！”
一番话把个朱元璋说得是眉开眼笑，当然是在心里。朱元璋表面上不显山不露水，任命徐达为大将军，常遇春为副将军，统率二十万大军，结束张士诚的垂死挣扎。
八月，进攻浙西的军队集结待命，朱无璋又召见徐达和常遇春，商定具体的作战方案。常遇春主张先打平江，他认为平江是张士诚的统治中心，只要占领平江，其余地方就可以不劳而下，但是常遇春又犯了冒进的极左错误了，建议当然被老朱否了。因为张士诚是私盐贩出身，他们都是在刀刃上企图赚公家钱的人，死对他们来说跟吃饭喝粥一样平常，你见过亡命徒怕死？如果出兵攻打平江，一旦张士诚支持不住，助手张天骐等人必然全力救援，到时援兵四合，平江就很难攻下来，白白耗费体力。老朱提出了一个“先分其势”的作战方案，先打湖州，使敌人疲于奔命，翦其羽翼，再移师去攻打平江。于是命令徐达、常遇春率领主力去打湖州，同时派李文忠、华云龙分别带兵攻取杭州和嘉兴，牵制湖州以南的敌军。
徐达与常遇春统率二十万水军从太湖直趋湖州。张天骐分兵三路出战，徐达分三路军队迎击，打败他南路军队，另外两路敌军慌忙退回城内，徐达在城外继续紧逼。张士诚见湖州危急，派李伯升赴援，李伯升由城东的货港偷偷入城，与张天骐一道闭门拒守。徐达见敌人死死地窝在龟壳里不出来，你打我我也不出来，指挥将士把湖州紧紧围困起来，对着四座城门昼夜强攻。快把城墙打成筛子底了，张士诚急了，又派吕珍、朱暹及养子张虬等率兵六万驰援，他们屯聚在城东四十里的旧馆，筑起了五个寨堡。这时，朱元璋派来增援的汤和正好赶到，他和徐达、常遇春，在城东东歼镇南的姑嫂桥筑起十座堡垒，比敌人的多一倍，扼守旧馆与湖州的通道。张士诚见吕珍等人无法接近湖州，亲自带兵驰援，但是徐达早就料到张士诚会沉不住气，早早准备好迎候他了，在皂林大败张士诚，俘虏三千人。
张士诚不死心，继续派徐志坚用轻舟从水上救援，企图偷袭姑嫂桥，又被徐达击败活捉。张士诚慌了，急忙派徐义到旧馆来打探军情。徐义一到旧馆就被切断了归路，只好暗中派人请在太湖的张士诚的弟弟、纨绔子弟张士信出兵，与吕珍等人拼死力战，张士诚派赤龙舱亲兵前来支援，他才脱出重围。接着，他又联合潘元绍率领赤龙船兵屯聚平望，再乘小船偷偷潜入湖州东南的乌镇，准备救援旧馆。常遇春领兵追袭，攻占平望，放火烧掉赤龙船，敌军四散溃逃。旧馆守敌的外援从此就被断绝了，要吃没吃，要喝没喝，仗还怎么打？大家纷纷出降。徐达乘胜挥师出击，追袭还没跑远的徐义和潘元绍，进攻湖州东面二十一里的升山水寨。张虬带兵来援，怎么敌得过徐达的骁勇？张虬、朱暹、吕珍势孤援绝，只好投降，旧馆被攻克。十一月，徐达将吕珍等人押到湖州城下示众，张天骐、李伯升一看他们都投降了，我们再抗击下去也是死路一条，也缴械投降了。后来潘元明投降，绍兴、嘉兴也不战而克。
徐达攻占湖州后，引兵北上，会合诸将，进围平江。徐达采用叶兑的计策，在平江城外矢石够不到的地方，构筑长围，自己驻葑门，命令常遇春屯驻虎邱，郭兴屯驻娄门，华云龙屯驻胥门，汤和屯驻阊门，耿炳文屯驻城东北，分仇成屯驻城西南，何文辉屯驻城西北，把平江紧紧围困起来。并在城外筑起三层的木塔，监视城中的活动，每层架设弓弩火铳，轮番施放，又设置襄阳炮，日夜向城中轰击。这不是一般的厉害，徐达在高处，光是盯也能把张士诚的人盯毛了，何况还有这样的轮番轰炸，高处的箭，出来一个杀一个，出来两个杀一双，低处的大炮，杀伤力肯定也不一般，实在是高啊！
不久，无锡守敌莫天祐派部将杨茂潜入平江了解情况，准备声援张士诚。徐达的手下人在阎门水栅把他捉住，绑好了带来见徐达，徐达知道这人游泳很厉害，横渡英吉利海峡肯定没问题，没有像手下人建议的那样把他杀了，而是将他收服，让他继续为莫天祐与张士诚传递消息，但是所得消息必须暗中送给徐达。有了这个内线，徐达知道了所有无锡与平江守敌的虚实，有针对性地采取相应措施，使围攻平江的作战计划日益完备。
朱元璋原先打算用长期围困的办法，迫使张士诚精疲力尽然后投降，但一直不能将其拿下，朱元璋便写信劝降，答应按照东汉接受窦融投降、北宋接受饯俶投降的事例，使其全身保族。但是，张士诚顽固拒降，继续闭门抵抗。后来，张士诚又接受熊天瑞的建议，拼命制作飞炮，发射大石头，轰击城外围攻的部队，妄图阻挡他们攻城。徐达见此，想了一个妙计，命令将士架设木屋，上面盖上竹笆，叫士兵藏在下面，这样可以增大缓冲，能够有效的挡住矢石的轰击。就这样，徐达一直和张士诚僵持着，不急不躁，稳中求胜。
到九月，平江城中老百姓的肚子的叫声连外围的将士都可以听到。徐达知道张士诚气数将尽，是发动进攻的时间了。于是下令发动强攻，锣鼓齐鸣，万炮齐发，将士高声喊“杀”，从气势上压倒对方。经过一场激战，徐达带领士卒首先攻破葑门，常遇春接着也攻入阊门，进逼平江城下。张士诚命令唐杰登上内城拒战，自己则在城内抵抗，令谢节、周仁立栅支援外城。徐达告诉将士奋勇冲杀，张士诚的人饿得不行了，不要怕他们！将士更加顽强。唐杰渐渐支持不住，率领众人投降了，周仁等人见大势已去，也归降了。徐达命令将士登城，冲进城里。张士诚不死心，收集残兵败将二三万人，在悠长的南方小巷里顽强抵抗，最后力尽被俘押送到了应天，城中二十万军民，全部向徐达投城。徐达与常遇春分别带兵驻守城市的左、右两个部分，安抚归附的军民。
徐达以出色地完成了消灭张士诚的任务，率领将士凯旋回归。朱元璋亲自出门迎接，颁发证书给大家，封徐达为信国公，并赏赐绮帛十端。
统兵北伐推翻元朝
消灭了张士诚的势力，朱元璋成为全国最富有的土财主，实力大增。这时候，元朝统治层内部正在乐此不疲地玩勾心斗角的游戏，互相之间削弱彼此的力量，混战不休。朱元璋决定抓紧有利时机，派兵北伐，夺取中原，推翻元朝的黑暗统治。
统率大军北伐的艰巨任务，自然又落在徐达的身上。当时，徐达与常遇春才勇平分秋色，都很受朱元璋器重。究竟由谁来担任北伐的最高统帅呢？朱元漳反复比较了两位大将的长处和短处，常遇春慓悍勇猛，敢于深入敌境，而徐达善于用计，谋略过人；常遇春下攻城邑，很少会不出现滥加诛杀的现象，而徐达所到之处，却从不骚扰百姓，俘获了敌军，也以恩义感化，使他们反过来为自己效力，百姓乐于归附，敌军也愿向他投诚。在这里面还是徐达更胜一筹。于是，便任命徐达为北伐军的大将军，常遇春为副将军，并对徐达、常遇春和其他北伐将领说：“军队打仗，是为了平息祸乱，所以任命将帅，必须选择最恰当的人。你们诸位，不是不能打仗，但是办事稳重，纪律严明，具备统率全军战胜攻取的指挥才能的，谁能比得上徐达？”要求他们听从徐达的指挥调遣。嘱咐徐达，一旦遇见强敌，作为大将军，应当运筹决胜，不能轻举妄动。
1367年十月，徐达与常遇春统率二十五万大军，从淮安出发，按照朱元璋的部署，进入山东，攻克沂州。接着，徐达命令韩政分兵扼守黄河，用来切断山东的援兵，又命张兴祖攻取济宁，自己亲率大军攻拔益都，迭克潍、膠诸州县。十二月，元将在济南投降，徐达分兵攻取登州、莱州。不久，山东平定。
1368年正月，在北伐军攻克山东诸地的捷报声中，朱元璋登上皇帝位，建立明朝，以应天为京师，任命徐达为右丞相。明王朝的建立，给各位军士打了一针兴奋剂，激励着他们加速北伐战争的步伐。二月，徐指挥明军沿黄河西进，攻入河南，迅速攻占永城、归德、许州，汴梁守将左君弼献城归降。接着，徐达又引兵自虎牢关进至塔儿湾，元将脱因脱木尔带领五万军队迎战，在洛水北岸布阵。常遇春单骑冲入敌阵，击败敌军的前锋，徐达指挥全军将士往前冲杀，元兵狼狈西逃。明军进据洛阳北门。洛阳守将李克彝逃往陕西，梁王阿鲁温开门迎降。明军乘胜西进，相继攻占陕州、潼关，元将李思齐、张良弼失势西奔。至此，明朝军队已顺利地完成攻占山东、河南和潼关的任务，撤除了大都的屏障，剪掉大都的羽翼，并控制关中元军出援大都必经的门户，从而对大都形成三面包围之势。
明军的下一步行动，便是攻取大都，1368年五月，朱元璋来到汴梁，慰问徐达、常遇春等北伐诸将，同他们进一步商定攻取大都的具体方案。徐达说：“我们现在已经平定了山东、河南，王保保逡巡太原，但是观望不进。现在潼关又被我们攻占了，张良弼、李思齐狼狈西奔，元都能来支援的人都被我们关在门外，大都现在就是一座孤城。如果乘势直捣这座孤城，可以不战而克。”徐达对形势的透彻分析和必胜的信心，深得朱元璋的赞赏，他连声夸奖：“好，好！”并叮嘱说，“北方土地平旷，利于蒙古骑兵作战，对此不能没有防备。你应挑选副将带领先锋部队在前开路，自己督率大军殿后，用山东的粮食作为军饷，进攻河北，夺取临清，北上直捣元都。大都外援不及，内自惊溃，就可不战而下。”徐达于是在东昌与诸将会师，分兵攻取河北，连下卫辉、彰德、广平，攻占了临清。闰七月，徐达在临清会合诸将后，命傅友德开辟陆道以通步兵、骑兵，派顾时疏浚运河以通水军，北攻德州、长芦、直沽。据守直沽的元丞相也速从海口逃走，大都震动。明军沿运河西进，在河西务，大败元军，擒敌三百余人，然后进兵通州。当天大雾弥漫，徐达觉得这是个好机会，于是在这天趁大雾埋伏好伏兵，趁元军不注意，突然袭击，歼敌数千人。
元顺帝听到通州失陷，知道大都已无法守住，哀叹说：“我不能像中原的皇帝一样做俘虏，看来只有北撤一条路可走了。”闰七月二十七日深夜，他带着后妃太子，慌忙从建德门出城，经居庸关逃往上都开平。八月初二，徐达率领明军到达齐化门外，填平濠沟，进入大都，受到市民的热烈欢迎。留守大都的元朝宗室淮王和左、右丞相等少数死硬分子拒不投降，这样的强硬派留着就是祸害，被徐达处死，其他元朝大臣和将士纷纷归降，受到宽大处理。徐达下令查封元朝的仓库、图籍、宝物和故宫殿门，派兵看守。所有将士，一律在营房住宿，不许外出骚扰百姓。这样大都的社会秩序很快安定下来，街市的营业也很快恢复起来了。
捷报传到南京，朱元璋下令把大都改为北平府，由孙兴祖、华云龙驻守，徐达与常遇春带领明军攻取山西、陕西。常遇春做前锋，徐达殿后，由河北越过太行山进入山西南部。徐达出其不意攻打太原，让王保保进退维谷。待王保保回到太原的时候，半夜偷袭他，趁机攻克了山西。
1369年二月，徐达率领明军渡过黄河，进攻陕西，占领奉元路，改名为西安府，元将李思齐逃往凤翔，张思道逃往庆阳。四月，徐达攻克凤翔，李思齐又逃到临洮。徐达集合诸将，讨论下一步计划，大家都认为张思道的军事才干不如李思齐，庆阳应该比临洮好打，主张先攻庆阳。但徐达却主张先打临洮：“庆阳城墙坚固，守将剽悍，不容易被攻下。而临洮北边是黄河、湟水，西通番戎少数民族地区，拿下这个地方可以收附百姓补充兵力，有物产可以补充军储，给将士补充后备力量。这时候李思齐如果向西逃窜，就会束手就擒。临洮一攻克，其他地方也就不战而下了。”大家想了想都觉得此计划高人一筹，全票通过。明军于是移师西进，连克陇州、秦州、巩昌，然后分兵两路，一路由顾时指挥，攻占兰州，另一路由冯宗异统率，进逼临洮，李思齐看这时候自己也不能让世人说什么了，马上投降了，心里话累死我了，装抵抗真不是一般的累。张思道听说李思齐投降，异常恐慌，逃到宁夏，为王保保所执。徐达派傅友德、俞通海、陈德、顾时分别从东、西、南、北四个方向攻占庆阳的外围地区，切断元军与外界的联系，自己则督率诸路大军进逼城下，把这座城镇紧紧包围了起来。经过三个多月的围攻，张良臣内外音讯不通，粮饷断绝，他的部将姚晖等人开门迎降。徐达领兵自北门入城，擒斩张良臣父子。庆阳之战，不但消灭了张良臣的势力，而且使明军控制了陕甘地区的形势，进一步缩小了元朝势力的活动范围。