常遇春見俘虜了這麼多敵人，就對徐達說：“這支隊伍驍勇善戰，我們必須將他們全部殺死，否則後患無窮。”徐達說：“我們把能收編的收編，不願參加我們軍隊的遣返，怎麼會有後患呢?”
常遇春不同意，徐達便把此事向朱元璋彙報，請他定奪。可常遇春固執己見，當天晚上趁朱元璋的命令還未下來時，把一半以上的俘虜都活埋了。朱元璋的命令下來時，木已成舟。朱元璋十分不滿，把常遇春叫去狠狠地訓斥了一頓，釋放了剩餘的俘虜。於是，徐達開始受命統轄各部。陳友諒侵犯龍江，徐達的軍隊和各部協力將其擊敗，一直追擊到慈湖，並放火燒了他的戰船。
南京的徐達花園至正二十一年（1361）七月，陳友諒部將張定邊又攻陷安慶。朱元璋率舟親征，徐達負責主攻陳友諒的老巢江州。友諒大驚，以為神兵天降，倉促不能敵，攜妻子夜奔武昌，江州遂被攻克。徐達窮追不舍，沿江而上，連下蘄州、黃州、黃梅、廣濟，直趨漢陽，於漢口紮下大營，有力地遏止了陳友諒的東下。朱元璋得以收複安慶，並攻陷龍興，改名洪都，又連下袁州、瑞州、臨江、吉安等府，將勢力範圍擴大到江西。徐達以功晉封中書右丞。
至正二十三年（1363）正月，張士誠遣其弟士信率大兵圍攻韓林兒、劉福通的根據地安豐。當時朱元璋在名義上仍奉韓林兒的“龍鳳”年號，同時考慮到安豐一破，張士誠勢力會日益壯大，便決定親率徐達等渡江北上馳援。此時，陳友諒乘虛而入，大舉向洪都反撲，大軍36萬“空國而至”，吉安、臨江、無為等州府，紛紛被陳友諒攻陷。朱元璋不得不回師還擊，雙方決戰於鄱陽湖。
在這次決戰中，徐達又立了大功。他身先諸將，擊敗陳友諒前軍，殺敵1500人；在激戰中，徐達戰船著火，但他奮不顧身，一麵指揮滅火，一麵堅持戰鬥，終於挫敗了陳友諒的瘋狂反撲。經此一戰，朱元璋樹立了徹底戰勝陳友諒的信心。為了嚴防張士誠乘虛偷襲後方，他把留守應天的重任交給了徐達，並說：“吾以達留守，緩急可百全也。”可見朱元璋對徐達是絕對放心的。
徐達回應天後亦兢兢業業，盡職盡責，他“申約束，嚴斥堠，示以鎮靜，若不知有外兵者”。張士誠見無隙可乘，便不敢輕舉妄動。朱元璋解除了後顧之憂，得以全力對付陳友諒，取得了鄱陽決戰的勝利，不僅全殲陳的60萬大軍，而且擊斃了陳友諒。不久，徐達奉調重返西線，迫使陳友諒次子陳理以武昌歸降，並取得了江陵、辰州、衡州、寶慶諸路，既肅清了陳友諒的殘餘勢力，又使朱元璋的勢力範圍擴展到湖北、湖南。
至正二十四年(1364)，朱元璋稱吳王，建百司官位，置中書省左右相國。以李善長為右相國，徐達為左相國。徐達再次領兵圍攻廬州(今安徽合肥)，圍困許久，守將張煥終於放下武器，打開城西門，把徐達的大軍迎進城中，廬州從此成了朱元璋的地盤。
之後，徐達被朱元璋召回，奉命率領常遇春等攻取淮東，攻克泰州。又回師收複被攻陷的宜興。然後帶領大軍渡過長江，攻克高郵，俘虜了張士誠的將士1000多人。接著攻破了安豐，俘虜了元將忻都。
元兵進犯徐州，徐達給予迎頭痛擊，將其打得大敗，此役被俘虜、打死的元兵數以萬計。淮南、淮北至此全部被平定。
至正二十六年(1366)，朱元璋準備伐吳（元至正二十三年，張士誠自稱吳王），和徐達、劉伯溫及李善長商量討伐事宜。
李善長說：“張士誠兵多將廣，儲糧又多，這幾年一直打勝仗，攻下了許多城鎮。我們現在羽翼未豐，若興兵攻打張士誠，怕凶多吉少，我看還是再等一等，等咱們兵強馬壯，那時再攻不遲。”
徐達說：“我看可以攻打。張士誠現在雖然兵精糧足，但他胸無大誌，貪圖享受，生活奢侈，對待屬下又十分苛刻，屬下對他已早有怨言。他的統軍大將軍李伯升等人，更是泛泛之輩，心思全用在了尋美和找寶上，對戰備毫不重視，這些所謂的將軍是很容易解決的。在張士誠的隊伍中，真正起作用的是三個參軍，一個姓黃，一個姓蔡，一個姓葉，曆次打仗，都是他們給張士誠出謀劃策。但他們都是書生，沒有遠大的眼光和計劃，也沒有什麼可怕。所以我想，如果我們興師討伐他們，憑主上您的威望和德行，加上我們大軍對他們的逼迫，三吳肯定能被平定。”劉伯溫也讚同徐達的建議。
朱元璋深以為然，遂拜徐達為大將軍，平章常遇春為副將軍，帶領水軍20萬，向湖州進發。
張士誠見朱元璋派兵來攻，即以平江(今江蘇蘇州市)為中心，以湖州(今浙江湖州市)和杭州為羽翼，三路抗拒徐達、常遇春的進攻。
徐達認為：湖、杭兩州是張士誠的左右臂，如果左右臂被斬斷，平江便唾手可得。就向朱元璋建議先攻打湖州和杭州。湖州守軍分兵三路阻拒徐達，徐達也分兵三路迎戰，另派驍將王國定切斷敵人的退路。經過一番激烈的戰鬥，敵人力戰不支，想退入城中，但退路已被王國定切斷。徐達大敗守軍，俘虜將士200多人，包圍了湖州城。
此時，張士誠派呂珍等率兵6萬前來救援。援軍駐紮在舊館(今浙江吳興東)，築了五個營寨自守，以牽製徐達。徐達認為，敵人的原羽翼還未根除就又長出了新羽翼，如不除掉援兵，湖州和杭州也就很難攻破了。於是，他決定暫緩攻城，命令常遇春等建了十個堡壘來阻擋敵軍，然後派兵夜襲敵營，切斷了呂珍的糧道。舊館的援兵糧餉不繼，又遭夜襲，大批兵卒前來投降。不久，舊館五寨之敵便被消滅，舊館拔除。張士誠見勢不妙，親率精兵前來援救，徐達在皂林將其打得大敗，張士誠逃跑。
徐達命令大軍加緊攻城，湖州投降，接著又攻克了杭州。張士誠的左右臂被砍斷，平江成了一座孤城。徐達率大軍從太湖進圍平江。
包圍平江後，徐達駐軍葑門，常遇春駐軍虎丘，華雲龍駐軍胥門，湯和駐軍閶門，王弼駐軍盤門，張溫駐軍西門，康茂才駐軍北門，耿炳文駐軍城東北，仇軍駐軍城西南，何文輝駐軍城西北，圍困敵人。他們又架起了和城中佛塔一樣高的木塔，還築了三個台，台建成後，朱元璋給徐達的命令手跡在上麵可以俯瞰城內，又在台上安放了弓弩火筒，裝上大炮，城內炮力所及之處都被打得粉碎。
平江城內一看朱元璋這麼厲害，大為震動，軍心開始渙散，士氣也開始低落。徐達寫信派使者向朱元璋彙報情況，請示下一步行動的方案。朱元璋寫了一道敕慰勞他說：“將軍牟勇絕倫，故能遏亂略，削群雄。今事必稟命，此將軍之忠，吾甚嘉之。然將在外，君不禦。軍中緩急，將軍其便宜行之，吾不中製。”
徐達於是命部隊加緊攻城。城內張士誠的部將熊天瑞教城內軍隊造飛炮，拆掉祠廟、民居做材料。徐達又命令部隊做了許多木架，上麵用竹子編起來，戰士們躲在下麵就可以避開城內打出的石頭飛箭。不久，徐達督領將士攻破了葑門，常遇春攻破了閶門新寨，率軍渡橋攻到城下。張士誠的樞密唐傑登上城牆率兵死抗，可終於不敵，唐傑、周仁、潘元紹都戰敗投降。
張士誠的軍隊見城已被攻破，四散逃奔，潰不成軍。張士誠命令副樞密劉毅收拾兩三萬殘兵，親自率軍與徐達的部隊在萬壽寺東街展開巷戰，但很快戰敗，劉毅也投降了。張士誠倉皇跑回家中，其妻劉氏聽說城破，自焚而死，張士誠也跑進屋中自縊。李伯升一腳踹開門，和趙世雄一起救下了張士誠。過了一會兒，張士誠悠悠轉醒，一見被救，大喊：“為什麼救我?為什麼救我?這不是明擺著叫我去受辱嗎?你們讓我死吧，我寧死也不受辱!”
徐達占領了平江，把張士誠押往應天（途中，張趁看守不備，自縊而死），收編張士誠的部隊25萬人。破城前，徐達和常遇春約定說：“部隊進城以後，我駐紮在左麵，你駐紮在右麵。”又命令將士說：“搶掠老百姓財物的，處死；拆毀民房的，處死；離開駐地20裏的，處死！”部隊進城後，秋毫無犯，老百姓像平日一樣安居樂業，絲毫沒有受到軍隊騷擾。徐達班師回朝後，朱元璋封他為信國公，並遷右丞相。
北上逐元順帝功成封魏國公
至正二十七年（1367），朱元璋任命徐達為征討大將軍，常遇春為副將軍，率兵25萬，由淮河入黃河，北進奪取中原。
徐達和常遇春，是當時盡人皆知的名將，都被朱元璋視為股肱之臣。常遇春剽悍敏捷，敢於深入敵陣，而徐達則擅出謀劃策；常遇春脾氣暴躁，攻下城邑時，經常殺人，而徐達卻性格溫和，他領兵所到之處從不擾民，即使抓到刺客和奸細也都以恩義相待，使他們為自己所用。這正是朱元璋任命徐達為征討大將軍的原因。他還特意告訴群臣：“命將出師，必在得人。師有紀律，戰勝攻取。得為將之體者，無如大將軍達。”
徐達領命後，於十一月率軍按“先取山東，撤其屏蔽，旋師河南，斷其羽翼，拔潼關而守之……然後進兵元都”的北伐戰略率兵進軍山東。
徐達的大軍到了淮安，派使者去招降占據沂州的王宣和他的兒子王信。王信派使者來表示要投降，而且還寫了封賀信，對徐達掃平張士誠表示祝賀。朱元璋知道此事後，遣使臣到了沂州任王信為江淮行省的平章政事，他的部下仍舊官任原職，但他的兵馬都要聽徐達指揮。
徐達率軍到下邳，都督同知張興祖由徐州進取山東。此時王信和他父親王宣兩麵三刀，表麵上向徐達、朱元璋投降，暗地裏卻加緊備戰。朱元璋的密探得知此事，密報朱元璋。朱元璋趕緊派人秘密通知徐達，命令他停止行軍，趕到沂州靜觀其變。很快，王宣發兵劫了使者徐唐等，徐達立即率軍攻打沂州。王信逃到了山西，王宣被徐達斬殺。接著徐達相繼攻下了嶧州(今山東棗莊南)、莒州(今山東莒縣)、海州(今江蘇連雲港)，派韓政分兵扼守黃河；張興祖奪取了東平、濟寧；徐達率大軍攻克益都，占領淮、膠各州縣。濟南投降，又登州、萊州亦被分兵奪取。山東從此全部平定。