至正二十三年（公元1363年），朱元璋在鄱陽湖之戰中大獲全勝，消滅了陳友諒勢力。
之後，張士誠理所當然地成為朱元璋軍事打擊的下一個目標。朱元璋羅列張土誠不忠不孝的八大罪狀，傳檄征討，命徐達率軍剿滅張士誠軍。
張士誠的軍事勢力綿延長江南北，可分為江南的浙西和江北的淮東兩大區域。至正二十五年（公元1365年）秋，徐達首先向淮東地區張士誠守軍發起攻勢。在連下泰州、興化後，徐達率軍進圍高郵。這時，徐達突然接到張士誠進攻江南宜興的消息，他命大將馮勝率部繼續圍攻高郵，自己率領一支部隊迅速渡江，擊潰了圍攻宜興的敵軍。至正二十六年三月，徐達再度率軍北上，一舉占領高郵，生擒敵軍1000餘人。緊接著，徐達與常遇春合攻淮安，在馬騾港大破張士誠軍。淮安守將梅思祖大開城門，投降徐達，獻出所轄四個州。徐達乘勢攻破安豐，擒獲元將忻都，獲船舶無數。元軍見安豐易手，出兵徐州。徐達策馬迎戰，大敗元軍，俘斬數萬人。至此，張士誠在江北的軍事據點全部化為烏有。
淮東地區落入朱元璋之手後，他馬上召集最高級軍事會議，商議征討張士誠事宜。右相國李善長認為張士誠仍然很有實力，不宜匆忙出兵。眾人見相國如此意見，都閉口不言。朱元璋見徐達低頭沉思，便問他有何感想。徐達拱手起身，認為李善長過於保守，說：“張士誠腐敗而殘暴，不得人心。大將李伯升之流是貪財好色之徒，根本不是對手。掌握實權的三個參軍黃敬天、葉德新、蔡彥文，隻會紙上談兵。我憑借您的威德，統率大軍進剿，浙西地區可以馬上得手！”朱元璋大喜，命徐達為大將軍，常遇春為副將軍，率騎兵和水師總計20萬人出征。
至正二十六年（公元1366年）八月，徐達師出太湖，向湖州猛撲過去。湖州守將張天騏兵分三路迎戰徐達，徐達也兵分三路相接，另遣精兵斷其退路。徐達大敗張天騏，生擒其將吏200餘人，然後兵臨城下，把湖州圍個水泄不通。張士誠聞訊，派遣大將呂珍等人領兵6萬前來解圍，在距湖州40裏處安營紮寨。徐達派遣常遇春等將領在城東的姑嫂橋築起10座營壘，切斷呂珍與湖州的聯係。張士誠見湖州告急，遂親率精兵馳援，在皂林（今浙江桐鄉北八裏）被徐達打得大敗。張士誠落荒而逃，徐達遂攻占湖州東麵水陸各寨。呂珍、朱暹、五太子等人望風而降，徐達將其綁縛湖州城下示眾，張天騏在絕望中打開城門投降。
拿下湖州後，徐達率軍直下吳江州，從太湖進圍張士誠的老巢平江。平江敵軍是精銳之師，不宜速決，徐達決定圍而不打，令其自困。徐達屯兵葑門，另遣大將常遇春屯兵虎丘，大將華雲龍屯兵胥門，大將湯和屯兵閩門，大將張溫屯兵西門，大將康茂才屯兵北門，大將耿炳文屯兵城東北，大將仇成屯兵城西南，大將何文輝屯兵城西北。另在四周築起高台，俯瞰城中動靜，讓神箭手在高台上射殺敵軍。“台上又置巨炮，所擊輒糜碎。城中大震。”在圍困平江的過程中，徐達屢次派遣使者到應天請示朱元璋。朱元璋對徐達恪守君臣之道的行為深表滿意，說：“將軍謀勇絕倫，故能遏亂略，削群雄。今事必稟命，此將軍之忠，吾甚嘉之。然將在外，君不禦。軍中緩急，將軍其便宜行之，吾不中製。”
至正二十七年（公元1367年）九月，平江城中出現斷糧現象，一隻老鼠竟然價值百錢。徐達聞報，認為時機成熟，遂令諸將發起總攻。徐達率領士卒首先攻破葑門，進逼平江城下。張士誠令唐傑、周仁在外城抵抗，自己督師城內。徐達先以火炮轟擊，然後強行攻城。唐傑、周仁等人漸漸支撐不住，紛紛投降。在進城之前，徐達與常遇春約定：“師入，我營其左，公營其右。”並且傳令三軍：“掠民財者死，毀民居者死，離營二十裏者死。”徐達指揮軍隊潮水般衝進城裏，與張士誠的殘餘部隊展開激烈的廝殺。張士誠揮劍督師，頑強抵抗，終於抵擋不住徐達的猛烈攻勢，自己也被生擒。攻占平江後，城中軍民20餘萬人向徐達投誠。由於徐達治軍嚴謹，平江百姓的生活秩序安然如故。
徐達擒獲張士誠，使朱元璋占據了長江中下遊廣大地區。朱元璋親臨應天府戟門，迎接凱旋之師，封徐達為信國公。張士誠被押送應天後，朱元璋親自勸降。張士誠寧死不屈，仰天長嘯：“天日照爾不照我。”朱元璋下令用弓弦將其縊死，具棺埋葬。
戰略包圍，攻克大都
為了取得勝利，徐達吸取了劉福通紅巾軍孤軍北上的教訓，采用穩紮穩打的方法，除屏障剪羽翼、據門檻逐步占領大都周邊地區，使大都處在明軍的戰略包圍之中。然後，又仔細的分析時局，讓朱元璋下令進攻大都。最終一舉攻克。破城之後嚴明軍紀，更民安居，市不易肆，王者風範，仁義之師。
消滅了陳友諒，張士誠後，朱元璋擁有富庶的江南地區，兵精糧足。他命徐達為征虜大將軍，常遇春為副將軍，率步騎25萬人，揮師北伐。