朱元璋消灭陈友谅之后，即回师东进，兵锋直指东面的张士诚。1365年10月，朱元璋发布讨伐文告，以徐达为大将军，率军东进，其方针是先取长江以北的通泰诸郡，剪其羽翼，再取浙东，然后一举消灭张士诚。
张士诚原是盐枭出身，虽然胆大勇敢，但缺少主见。他政权建立初，全靠他弟弟张士德主持。张士德颇有文才，也懂得礼贤下士，所以当时的政权，颇（pō）为兴旺。至正十六年（公元1356年）跟徐达在常州作战时战死。张士诚就让他的另一个弟弟张士信主持政务。张士信跟他哥哥张士德正好相反，他昏庸无能，只知道享乐，把政事交给手下的参军黄敬夫、蔡彦夫、叶德新三人处理，任凭他们弄权舞弊，胡作非为，而自己一概不闻不问，所以把国事搞得一塌糊涂。
跟张士诚当初一起创业的江湖弟兄，这些人如今都富贵了，在江南这富庶的鱼米之乡，日浸月染，渐渐失去了江湖豪杰的本色，却染上了腐化享乐的习气。他们修府第、建园林、玩女人，天天歌舞宴会，只图眼前欢乐，甚至大将出兵，也要带上歌妓舞女，白天行军打仗，晚上宴乐歌舞。这样的将领，又怎能和纪律严明、训练有素的朱军作战呢？所以到至正二十六年底，张士诚所占领的所有州府均被徐达、常遇春的军队占领，只剩下平江一座孤城。朱军各路会师，徐达调兵遣将，把平江团团围住。
平江（今江苏苏州）是座古城，由于境内有座姑苏山，所以人们又把平江叫做姑苏。平江有几座城门，徐达自驻军葑门，常遇春驻军虎丘，郭兴驻军娄门，华云龙驻军胥门，汤和驻军阊门，王弼驻军盘门，张温驻军西门，康茂才驻军北门，耿炳文驻军城东北，仇成驻军城西南，何文辉驻军城西北。四面修筑长围，把平江城围得水泄不通。他们又在城外筑起一些木塔，几乎与城里的佛塔一样高。木塔上有三层放楼，设置了弓弩火铳，向城上守军施放。又摆上“襄阳炮”，装着铁砂铁块，日夜轰击。
当时平江城内守军大约还有十万人马，张士诚亲自督军坚守，朱军一时攻打不下。但平江成了一座孤城，四处藩篱尽失，徐达也不去硬攻，只打算长久地围困，使张士诚不得不降。
从至正二十六年十二月到至正二十七年七月，平江被围已经八个月了。这期间，张士诚不甘被困死，曾两次组织突围，但都被杀了回去，自己还险些被擒，多亏其女婿（xù）潘元绍率领军队出城接应，才被救了回来。其实这时，他的所谓十万大军连一半也不到了。因为那些守城将士，眼见困守孤城，内无强将，外无救兵，早晚定被朱军攻破，有很多将士不愿陪着张士诚同归于尽，便趁夜间偷偷缒（zhuì）下城去，向朱军投诚。逃兵越来越多，张士诚派勇胜军上城督军，杀了一些人，但也禁止不住。
当年九月，徐达派张士诚原手下“十八骑”之一李伯升的门下张国进城去劝降。但张士诚的枭劲上来了，宁死不降。徐达知道张士诚是要决心抵抗到底，便下令攻城。十路大军，如潮水一般，向平江城冲击，一波下去，一波又至。炮火连天，杀声震地。张士诚率心腹将士，日夜守卫在城上。防守器材用光了，便下令拆毁庙宇和民房，把木头和石块搬上城楼，当做武器。两军苦战了两个昼夜，徐达终于攻进了葑（fēnɡ）门，常遇春和汤和也从阊门攻入，守将潘元绍等投降。张士诚率残兵巷战，转瞬间身边只剩下几十名亲兵。
这时城中多处火起，张士诚的后宫齐云楼也燃烧起来，原来是张士诚的王妃刘氏，把张士诚的群妾，统统赶到齐云楼上，放把火全都烧死，她自己也在后宫自缢了。张士诚赶回来一看，点了点头，换上冠冕龙袍，找一根丝带拴到正梁上，也想自尽。可就在这时，李伯升奉徐达的派遣，匆匆跑进宫来。他让人把张士诚放下，耐心劝解。已经投降朱军的潘元绍，也跑来劝说。但张士诚却把眼睛紧紧闭上，对劝说丝毫没有反应。
徐达听说后，便派军士用盾牌把张士诚抬到船上，押送回应天。张士诚在船里躺着，不言不食。几天后船到龙江，张士诚还是不肯起来。押送将士只好把他抬到中书省。中书省丞相李善长亲自来看他，他却耍起私盐贩子的脾气，支撑着站起来，把李善长和朱元璋臭骂了一顿。李善长也火了，给以严词斥责，把他几年来失政的错处一一指出，使他又悔又恨。当天夜间，他乘看守的军士不备，悬梁自尽了。