太平城轉危為安。接著，徐達又受命帶數千人馬，出太平向東攻占了溧陽、溧水，從南麵對集慶形成包抄之勢。一五三六年（元至正十六年）三月，朱元璋會合水陸諸軍，攻取了集慶城。元朝守將福壽戰敗身死，軍民共計五十餘萬人歸降於朱元璋。
朱元璋取得集慶後，改名為應天府。這時，他的地盤剛得到擴展，周圍是元軍或其他起義軍，處於四麵鄰敵的狀況。於是，他從長計議，決定以應天為中心，先給自己營建一塊根據地，而後再作遠圖。
應天東麵的鎮江，由元將定定把守。如果鎮江落到割據東吳的張士誠手中，就會對應天構成威脅。因此，朱元璋在應天稍作休整，即命徐達統兵進攻鎮江。在出兵時，為了嚴明軍紀，朱元璋與徐達商量演了一場“苦肉計”：他故意找徐達的過錯，而後大發脾氣要從重處治，經李善長等人再三求情，才準予戴罪出征，立功免罪。
徐達被任命為大將軍。大軍出發肘，朱元璋再三告誡道：“我自起兵以來，從不妄殺無辜。你要明白我的心意，嚴格約束部下，攻取鎮江後，不許焚燒殺掠。若有違犯者，定依軍法處置。”
徐達頓首領命，率軍浮江東下，攻取了軍事重地鎮江。軍中號令嚴明，百姓宴然。然後又分兵掠取金壇、丹陽等縣。朱元璋任命他為統軍元帥，駐守鎮江。此時，張士誠已占據常州，派水軍來攻鎮江。徐達於龍潭擊退來犯之敵，急派信使請求朱元璋派兵進圍常州，以為牽製。朱元璋派三萬大軍增援，徐誠也派遣兵將馳援常州。
徐達考慮到敵方援軍來勢銳盛，不易強取，便在常州城外十八裏設下兩支伏兵，又派大將王均用為奇兵，然後親自督軍迎敵。張士誠的援軍遭徐達迎頭攔擊，又受王均用側翼橫衝，敗陣而退。這時，兩支伏兵齊發，敵軍大潰奔逃而去。徐達擒獲敵方兩員大將，乘勝揮兵包圍常州。
常州被圍既久，城內糧草缺乏，軍心動搖。徐達與湯和督軍加緊攻擊，終於在次年三月攻克了常州。朱元璋將常州改路為府，設立長春樞密院，任命徐達僉樞密院事，湯和為樞密院同僉，共同領兵鎮守。
四月，徐達又與常遇春等將在朱元璋親自指揮下，攻取寧國。七月，徐達派前鋒將趙德勝攻常熟，擒獲張士誠的弟弟張士德。張士德善戰而有謀略，為張土誠攻取了浙西大片地盤。他被俘後絕食而死，使張士誠極為沮喪。
1358年十月，徐達與邵榮等人聯兵奪取了宜興。這樣一來，朱元璋相繼取得了應天周圍的戰略要地，在東麵擋住了張士誠西犯的門路；在西麵對徐壽輝采取以守為攻的戰略。
1360年五月，徐壽輝被部下陳友諒殺害。陳友諒自稱皇帝，國號漢。他占有江西、湖廣大片地盤，是割據群雄中力量最強、野心也最大的人。他派使者與張士誠相約，東西夾攻朱元璋。然後統率大軍沿江東下，來攻應天。
朱元璋命諸將分頭埋伏於應天城內外各險要地點，而後派陳友諒的熟人康茂才詐降，誘使陳友諒進入埋伏圈中。伏兵四起之後，陳友諒情知中計，但已無退路。此時，徐達伏兵於南門外，看見朱元璋黃旗揮動，即刻帶兵殺出。這一戰擊潰陳友諒的主力，生俘七千餘人，繳獲幾百艘戰船。
陳友諒乘船逃脫，奔還江州（今江西九江）。
徐達乘勝統兵收複太平，又與諸軍會合，攻克安慶。
正當朱、陳兩軍在江南連續作戰的同時，江北的紅巾軍接連失利，形勢危急。1363年，投降元朝的張士誠圍攻安豐（今安徽壽縣），劉福通派人向朱元璋求援，如果安豐失陷，應天就將失去一道屏障。朱元璋帶領徐達等將渡江北上救援劉福通。
就在這時，陳友諒乘機發兵六十萬，大舉進攻，首先包圍洪都（今江西南昌）。朱元璋的侄兒朱文正督軍死守城池，等待援兵。
七月，朱元璋親率大軍至鄱陽湖，與陳友諒決戰。開戰第一天，徐達衝鋒在前，率部下擊退敵軍前鋒部隊，殺敵一千五百餘人，繳獲一艘大船。俞通海等將發起火攻，燒掉敵船二十餘艘。徐達戰船著火，敵軍乘勢反攻。徐達奮不顧身，帶頭撲滅大火，拚死搏戰，與朱元璋派來的援兵一起殺退敵軍。
兩軍於湖上相持不下。朱元璋擔心張士誠乘虛進犯，便命徐達連夜回應天負責守備。徐達在應天修城備糧，整頓士卒，警惕防守，使朱元璋得以無後顧之憂。
鄱陽湖一戰長達三十六天之久。朱元璋依靠火攻終於大勝敵軍。陳友諒在激戰之中被飛箭射死，全軍失去主帥，潰退回武昌。
1364年（元至正二十四年）正月，朱元璋在應天自立為吳王，設置百官，建中書省，以李善長為右相國，徐達為左相國，常遇春、俞通海為平章政事。
朱元璋從起兵以來，部下將帥中最著名者有三人，第一位就是徐達，其餘兩人是常遇春、邵榮。
朱元璋消滅了兵強地廣、雄踞長江上遊的陳友諒，解決了四麵的強敵，自己的軍力地盤也更加壯大。他的下一個進攻目標，便是割據東吳的張士誠。
張士誠是淮南泰州（今江蘇泰縣）人。泰州靠海，居民都曬鹽維生。張士誠兄弟幾人從小到大，是靠撐船販賣私鹽混光景。他為人仗義疏財；是當地私鹽販子的頭目。地方上的大戶和官府常常欺侮勒索鹽船，人們早就怨恨在心。1353年，張士誠趁著天下義軍蜂起的形勢，帶著兄弟朋友共十八位壯士，舉事造反。貧苦農民、鹽民、無業遊民群起風從，很快攻下泰州、高郵，占據了三十六個鹽場。張士誠自稱誠王，國號大周。
經過六七年的擴張經營，張士誠占地兩千餘裏，盛產糧食，又有魚鹽桑麻之利，人口眾多，最為富庶。但他生性持重，待人寬和，遇事缺乏主見，隻想守住自己的地盤，無甚大的野心。他手下的武將文臣，大多是當年窮困潦倒的江湖朋友。如今有了地盤，成了氣候，這些人個個貪圖享樂，爭著修房子建園子，平日裏更是伎優聲色，歌舞宴樂，已經很快地腐化敗落了。
從元至正十六年（1356）起，朱元璋便與張士誠接境，雙方互相攻伐，大小衝突不斷，僵持了近十年時間。由於朱元璋以全力對付陳友諒，所以對張士誠基本上取守禦之態。
張士誠的地盤以長江為界，分為兩部分。江南的浙西地區防守比較堅固，而江北的淮東地區防守則相對薄弱。朱元璋東征張土誠，采用先北後南的策略。元至正二十五年（1365）秋天，徐達受命為總兵管，統率常遇春、胡美、馮勝等將，帶領步、騎、水軍，渡江北上，進攻淮東地區。
徐達率軍很快攻克泰州，活捉守將嚴再興等人。然後，分兵命部將劉傑攻取興化，他自己進兵包圍高郵。朱元璋擔心徐達深入敵境，無人策應，便命其退回泰州，先攻取淮安、濠州和泗州（今江蘇盱眙）。
張土誠為了分散牽製江北的朱元璋軍隊，出兵攻擊江南的宜興。朱元璋命徐達渡江還擊，打退了張士誠的軍隊，生俘敵士卒三千餘人。然後，徐達又還兵江北，攻打高郵。
徐達從江南回師後，經朱元璋同意，以孫興祖守海安，常遇春統水軍為繼援，自己與馮國勝一起，很快攻克高郵城，殺死守將俞同僉等人。
高郵既克，朱元璋派使者告喻徐達，乘勝取淮安。
徐達揮兵圍城。淮安守將梅思祖等人看到形勢嚴峻，遂開城投降，並獻出所轄的泗州。隨後，徐達又進兵攻取興化。這樣，淮東地區便基本平定了。
在朱元璋召集文武大臣的議事會上，徐達主張道：“張士誠等人驕傲而且反複無常，暴斂民眾，荒淫奢侈，這是上天要使他們滅亡。他所任用的驍將李伯升、呂珍之徒，都是卑劣小人，依靠手中兵將追求富貴享樂。執掌政務的黃敬天、葉德新、蔡彥文三人，都是迂闊書生，胸無大計。我願奉主上威德，率精銳之師出師，聲討兵伐，三吳之地可計日平定。”
朱元璋聽後大喜道：“你的想法與我完全相合。這樣的話，大事一定能夠成功。”
七月，左相國徐達受命為大將軍，平章常遇春為副將軍，統領二十萬大軍，出太湖直取湖州（今浙江吳興）。根據朱元璋“先分其勢”的策略，同時由李文忠、華雲龍帶兵攻杭州和嘉興。
話說徐達等人率軍進至湖州三裏橋時，敵方守將張天騏兵分三路迎戰。徐達亦分三路進攻，自己居中路。交戰不久，常遇春擒獲敵將黃寶，其餘兩路敵軍急忙退回城中。
張士誠遣李伯升援救湖州，隨後又增派朱暹、呂珍等人帶兵六萬來援，屯駐於城東的舊館，築起五個營寨。另外，還有張士誠的女婿潘元紹駐兵烏鎮，為呂珍等人聲援。
此時，朱元璋派湯和自常州增援徐達，諸將於東阡鎮南的姑嫂橋一帶築起十座營寨，阻絕舊館方麵敵軍入援湖州的通道。徐達又遣精兵夜襲潘元紹。元紹遁逃，徐達下令填塞溝渠水港，絕敵運糧之道。
張士誠看到湖州危急，援兵又被阻隔，便親自帶兵來援，但被徐達在皂林（今浙江桐鄉北）擊敗。九月，張士誠又派部將徐誌堅以輕舟出東阡鎮，欲攻姑嫂橋，不料遇上風雨大作，結果三千餘人一起被打敗活捉。攻取湖、杭後，朱元璋的第二步便是圍攻平江，消滅張士誠。早在圍城之前，寧海（今山東牟平）人葉兌曾向朱元璋建議用“銷城法”圍攻平江。就是在距平江城一箭之地外築起長圍，四麵立營，屯田固守，將張士誠困死於城中。
徐達統率大軍進逼平江，采用了葉兌的方法。他屯兵於葑門外，其餘常遇春、郭興、華雲龍諸將分段屯駐，修築長圍。又架設起三層的大木塔，居高臨下監視城中動靜，名為“敵樓”，其上設置有弓弩火銃，又用“襄陽炮”，日夜轟擊城中。
平江城外無援兵，內乏糧草，張士誠幾次試圖突圍都被堵死。朱元璋幾次派人前去勸降，都被張士誠堅決拒絕。他的部將莫天駐守無錫，為平江聲援。莫天派手下善泅水的楊茂潛入平江，傳遞消息。楊茂在閶門水寨被徐達部卒抓獲。徐達釋放了楊茂，向他申明形勢大義，收為內應。平江雖被圍困，但堅城一時難拔，因而徐達讓楊茂繼續為平江和無錫之間傳送情報，這樣，他就可以全部了解敵方的虛實動靜。
1367年二月，徐達因平江久圍不克，遣使向朱元璋請示。朱元璋親筆寫信道：“大將軍自隨我起兵以來，天性忠義，沉毅有謀，勘亂定難，可比古代豪傑。……今後軍中緩急事宜，一切由將軍自行定奪。”
徐達得朱元璋手書，遂傳令所轄四十八衛將士加緊攻城。有一天，張士誠之弟張士信正在城樓上吃飯，被城下的“襄陽炮”擊中，粉身碎骨而死。
城中張士誠聽取部將熊天瑞的建議，也製作飛炮，轟擊城下。城中的木石用盡，又毀祠廟民房作為材料。徐達傳令軍中架起木屋，上承竹笆，士卒伏於其下，以擋城上箭石炮火。
九月，平江城中糧盡，軍民以枯草老鼠為食。張士誠身陷絕境但仍不投降。徐達下令全軍強攻破城！城下戰鼓擂動，火炮齊鳴，二十萬大軍殺聲震天，將士人人奮勇爭先。徐達督軍首先攻破葑門；常遇春攻破閶門水寨，直逼城下。張士誠令樞密唐傑上城督戰拒敵。唐傑抵擋不住，投降。參政謝節、潘元紹是在城門紮營，此時看到大勢已去，也相繼投降。
將及黃昏時分，張士誠軍全線崩潰。徐達指揮全軍從四麵八方架起雲梯，蟻附登城，衝入城內，與敵軍展開激烈的巷戰。
張士誠與其副樞密劉毅收攏殘兵，尚有二三萬人。他親自督戰，在萬壽寺東街與徐達軍拚殺，但很快就因力量懸殊，又複失利，劉毅也投降了。張士誠倉皇退入他的王宮，身邊隻剩下幾名親兵。這時，後宮齊雲樓大火衝天，張土誠的妻子劉氏點燃了樓下的柴草，自焚身亡。見此淒慘斷腸情狀，張士誠長歎幾聲，轉身關起房門……
暮色蒼茫。平江城中的喊殺聲已經微弱。降將李伯升奉徐達之命，前去勸諭張士誠。他匆匆進入宮來，張士誠已懸梁自縊。李伯升讓隨從趕忙將其解救下來，幸虧氣息未絕，許久才緩過氣來，但卻閉目不語。徐達聞報，命將張士誠押送應天，聽候朱元璋處理。最後，張士誠還是在看守之地自縊而亡。
平江既破，城中二十萬軍民向徐達投誠。徐達與常遇春按事先約定，分平江為兩半，各自駐守，安撫民眾，並下令全軍將士各懸一塊小木牌，上書軍令：“掠民財者死，拆民居者死，離營二十裏者死。”
徐達率諸將從平江凱旋歸至應天，朱元璋親到戟門迎接，頒下敕書表彰諸將，然後按功行賞。徐達進封為信國公，常遇春為鄂國公。
攻滅張士誠後，朱元璋派朱亮祖、湯和等人率軍征討浙東的方國珍，隻用了三個月的時間，便削平了這個稱雄浙東二十年的割據者。與此同時，朱元璋決定了北伐滅元大計。
1367年十月，朱元璋任命徐達為征虜大將軍，常遇春為副將軍，率二十五萬大軍，北取中原。行前，朱元璋又當麵告諭眾將：“大軍出征是奉上天之命，討平禍亂。因而命將出征，重在選人得當。治軍嚴明，戰勝強敵而攻取城池，具有統率才能的，莫如大將軍徐達。勇敢無畏，敢當百萬之眾，衝鋒陷陣，所向披靡，莫如副將軍常遇春。我不擔心常遇春打不了硬仗，隻擔心他會輕敵。身為大將而好與小將爭勝，這可不是我所希望於諸位的。這次出師北伐，如果大敵當前，以遇春為先鋒，與馮勝分為左右兩翼，各率精銳衝擊向前。薛顯、傅友德都是勇冠三軍，可各領一支人馬，獨當一麵。大將軍徐達專門主持中軍，責任是運籌決勝，策勵諸將，切不可輕舉妄動。”
徐達統率北伐大軍從淮安出發，先進入山東。配合北伐主力的偏師，由征戍將軍鄧愈率領，從襄陽北略南陽，以分散元朝兵力。北伐軍所過之處，張布“驅逐胡虜，恢複中華”的討元檄文，告諭官吏和民眾。討元檄文起了巨大的宣傳號召作用，許多州縣紛紛投降，北伐軍進展順利。
十一月，徐達指揮大軍攻克沂州（今山東臨沂），然後遵照朱元璋的指示，命部將韓政扼守黃河天險，張興祖攻東平、濟寧，自己親率大軍攻克益都。十二月，大軍兵臨濟南，元將達多爾濟（朵兒隻）開城投降。徐達命指揮陳勝鎮守濟南，自己複還益都，分兵攻取登州（今山東蓬萊）、萊州（今山東掖縣）。北伐軍從誓師出征起，前後三個月的時間，山東基本被平定。徐達將山東各地的土地甲兵賬冊圖籍等一並上奏朱元璋。
在劍匕伐軍連連攻取山東州縣的捷報聲中，1368年正月四日，朱元璋在應天登基稱帝，建立起朱明皇朝，年號洪武。新朝建立，自然要封賞功臣，任命百官。朱元璋任命的左、右丞相，一個是李善長，一個是徐達。朱元璋立長子朱標為皇太子，李善長秉任太子少師，徐達秉任太子少傅。
二月，明北伐軍沿黃河西進直入河南境內，連克永城、歸德、許州（今許昌），直逼陳橋。元汴梁（今開封）守將左君弼獻城投降。徐達留都督僉事陳德守汴梁，統率大軍向河南（今洛陽）進發。
四月，明北伐大軍自虎牢關進至塔兒灣（今河南偃師境內），元將脫音特木爾統五萬大軍列陣於洛水北岸。副將軍常遇春單騎先闖敵陣，射殺敵前鋒一人，縱馬大呼恃勇衝鋒，徐達指揮大軍繼後，以不可阻擋之勢全線衝擊，元軍大潰。脫音特木爾逃往陝州，明軍乘勝追擊五十餘裏。外圍之戰取勝，明大軍紮營於洛陽北門外。元守將李克彝棄城而逃，梁王阿掄隻好出城投降。
明軍繼續西進，攻克陝州（今河南陝縣），直逼天險潼關。元守將李思齊、張思道聞明大軍將至，慌忙丟棄輜重奔向鳳翔。明軍先鋒都督通知馮宗異引兵進入潼關，向西直至華州（今陝西華縣）。
至此，明北伐大軍平定山東、河南，又據潼關堵住關中元軍東下出路，對元大都形成了月牙形的包圍態勢。
五月，朱元璋駕幸汴梁，大會諸將，厚加慰勞，同時研究下一步的進軍方案。
朱元璋詢問新的戰略部署，徐達道：“自我大軍平定山東、河南，元軍統帥擴廓帖木兒在太原觀望不進，如今潼關也被我軍控製，張思道、李思齊失勢西竄，元大都的聲勢已絕。我軍乘勝直搗其城，可不戰而得之。”
朱元璋看看地圖道：“你講得很好。不過，北方土地平曠，利於騎兵作戰。你應當挑選部將領兵作為先鋒，然後督水陸大軍繼其後，用山東糧食為軍餉。大都沒有了外援，城內人心自然驚潰不安，必定會被我大軍攻克。”
徐達又向朱元璋請示道：“如果大都攻克而元朝君主北走出關，我軍是否窮追不舍？”朱元璋回答：“元朝氣運衰微，定會自行滅亡，不必煩勞我軍窮追。一旦元朝君主逃出塞外，我軍宜固守邊關疆土，嚴守其侵犯便是。”
七月，朱元璋返回應天，他臨行一再告諭徐達等人：“中原人民，苦於動亂已經很久了。朕命你們北伐，就是為了解救人民。諸位將軍攻克城鎮，切勿搶掠，切勿焚燒，一定要讓市場照樣買賣營業，讓百姓各安其生。”
徐達、常遇春率諸將會於河陰（今河南滎陽），然後分遣兵馬進入河北。閏七月，徐達於臨清招集諸將，部署具體進軍方略，命傅友德開辟陸路以通步、騎兵，都督副使顧時負責疏浚河道以通水軍。
明北伐軍沿運河推進。常遇春首先攻陷德州，接著又克長蘆（今河北滄州）、直沽（今天津）。據守天津的元丞相也速從海口望風而逃，大都震動，人心惶惶。
明軍進至河西務（今河北武清東北），大敗元軍，生俘二百餘人，乘勝推進到通州（今北京通縣），又利用大霧天氣，伏擊元守軍，守將布顏特穆力戰身死。
通州失守的消息傳到大都皇宮之中後，元順帝大為恐慌，集合後妃、太子說道：“今日豈能重蹈北宋徽宗和欽宗亡國被俘的覆轍！”他不顧臣下的勸諫，以保命為先，於閏七月二十七日深夜，帶著後妃、太子從建德門倉皇而出，經居庸關北走至上都開平（今內蒙多倫西北）。
八月二日，徐達率軍進至大都齊化門，士兵填平城下的壕溝，進入城中。徐達登上齊化門城樓，兵士將元順帝留下守城的淮王、左右丞相等人押到。這些人不肯投降，被徐達下令處死。其餘的元朝大臣將士都以性命為重，願意歸順明朝，他們都受到寬大處理，無一人被濫殺。徐達下令查封城中的府庫圖籍寶物，派指揮張勝帶一千兵士守衛皇宮，同時嚴令所有將士，不得騷擾百姓。由於朱元璋早有告誡，以及徐達嚴厲約束，北伐軍紀嚴明。大都城中官吏人民生活安定，一如平時，街市上的店鋪買賣營業也未曾停頓。
攻取大都，標誌著蒙元朝統治中國的結束。徐達即刻遣使向應天獻捷，又命傅友德、華雲龍負責整修城垣。朱元璋接到捷報後，宣布大赦天下；下令改大都為北平府，由孫興祖、華雲龍駐守；詔命徐達、常遇春、湯和、馮宗異等人率大軍攻取山西、陝西等地，掃清元朝的殘餘勢力。