在李善長和馮氏兄弟的輔佐下，朱元璋順利地攻下滁州城。這時，他的親侄子朱文正和二姐夫李貞攜帶他的兒子李文忠聞訊前來投奔，並轉告他的二哥已去世的消息。一家所剩的幾口人總算團聚了。
至正十五年（公元1355年）正月，朱元璋攻克和洲。郭子興接到捷報，立即指派朱元璋為總兵官，鎮守和州，成了一地的最高長官。朱元璋明白自己有了名義上的地位，但由於年齡輕，資曆淺，所以又花費了不少心機，整頓軍紀，處處嚴格以身作則，在和州逐漸建立並鞏固了自己的地位。
不久，郭子興病死，軍隊由其子郭天敘、妻弟張天祐、朱元璋三人同管。
和州都元帥府內的三名元帥，在名義上，郭天敘為主帥，張天祐、朱元璋是副職，應該由郭天敘當家作主。可是，郭天敘年紀輕，又沒有軍事經驗，起不了實際作用，張天祐又無計謀，隻是一介武夫，而朱元璋本身有勇有謀有決斷，又有一批勇猛得力的幼時貼心夥伴，如徐達、湯和、邵榮等戰將，加上收了一批年輕善戰的義子，如外甥李文忠、侄子朱文正、同鄉沐英外，還有朱文剛、何文輝、徐司馬等二十幾個幹兒子的全力支持；更重要的有自己招來的一支強大的親軍和李善長、馮國用等出謀劃策之士，使自己如虎添翼。所以，和州紅巾軍的實際主帥是朱元璋。和州在他的經營下，日益興盛起來。
至正十年四月，鄧愈、常遇春先後帶著自己的軍隊來投。二人勇猛無比，威震一方。他們的到來令朱元璋十分高興，立即委任鄧為管軍總管，常遇春為前鋒。不久，巢湖水軍廖永安、俞通海又率船來投。至正十五年六月朱元璋得以乘風渡江，攻克太平路，為防止軍隊搶物，他事先就命李善長起草了禁約，四處張貼，見一兵犯禁立即斬首，因此城內很快平靜下來。朱元璋又對全軍將士論功行賞，軍隊上下也是十分歡喜。隨著軍中威望的提高，朱元璋在太平路建立元帥府，自己當起了元帥。
後來，郭天敘與張天祐二帥戰死，郭子興的舊部完全由朱元璋統管了。至此，他成了名實相符的都元帥，小明王麾下的一方麵軍的主將。
至正十六年（公元1356年）三月，朱元璋親自領兵進攻集慶路，在城外，陳兆先戰敗而降，得兵36OOO人，再攻城，守將福壽戰死，水軍元帥康茂才和軍民5O餘萬歸降。朱元璋入城後立即召開軍民大會，公開宣布：“我是帶兵為你們解除元朝腐敗統治，帶走你們痛苦的，大家各安本業，不必害怕。有本事的人，歡迎他隨我建功立業，元朝種種不利百姓的陋習，統統廢除。我們決不允許欺壓百姓。”老百姓的心安了，社會秩序建立了，人人欣喜，互相道賀。
朱元璋改元集慶路為應天府，並向小明王報告集慶路大捷。小明王得知後，升朱為樞密院同僉；不久，又升為江南等處行中書省平章鎮守應天。朱元璋為了在應天站穩腳跟，首先在應天城內建立了自己的“天興建康翼大元帥府。”
紅巾軍主力在中原的浴血奮戰，吸引了元朝的軍力，使之無暇南顧。朱元璋趁機在應天立足並穩步向外進取，建設並鞏固自己的根據地。
針對當時的軍事勢態，朱元璋擔心的就是近靠自己的張士誠、徐壽輝兩支反元力量向今蘇南、浙西拓展。當務之急，是東取鎮江、南占寧國，以防張、徐，確保應天的安全。等應天安頓稍有定當，便派出徐達和鄧愈兩支大軍，分別向鎮江和皖南進軍。
隨著有利形勢的發展，胸懷大誌的朱元璋，更加懂得了知識的重要性。他自己在繁忙的軍政活動中，總是偷閑抓緊讀書學習，請李善長等人講解曆代政治的得失，成敗的教訓。隨著自身知識的增長，他也更加敬重有知識的人，每占領一處地方，他都必訪尋當地名士為自己作秘書、顧問、參謀一類工作。至正十五年七月，胡大海打下徽州，經鄧愈推薦，朱元璋請來隱居的老儒朱升，恭敬地征求應付時局的辦法。朱升提出了“高築牆，廣積糧，緩稱王”的九字方略。朱元璋對此心領神會，稱善不已，對於建立和鞏固應天根據地，進而奪取全中國起到了深遠的影響。
軍隊進入浙江後，先取建德路，改名平州府；再得婺州路，置浙東行省，並在省府門外樹起兩麵大黃旗，上書“山河奄有中華地，日月重開大宋天”，公開打出了反元複宋的政治旗幟。由於朱元璋以“打仗占城要靠用兵正確，安定民心要靠切實用仁”通令全軍，所以軍隊所到之處，秋毫無犯，這樣，婺州周圍的郡縣都聞風歸附。
婺州是近2OO年來的理學中心，出了許多著名的學者，朱元璋訪得當地13名著名學者，為他講解經書的曆史。其中最有名望的是宋濂，這樣，朱元璋開始接觸了儒學。
至正十九年五月，小明王提升朱元璋為“儀同三司江南等處行中書省左丞相。”八月，朱元璋的部隊攻浙東諸暨、衢州、處州等元軍重要據點，與應天為中心的地域聯成一片，形成了四鄰為：東麵和北麵是張士誠，西麵是陳友諒，東南是方國珍，南麵是陳友定的格局。雖說他們均為反元盟軍，但各有各的打算，形若敵國。其中以張士誠為最富有，陳友諒力量為最大，方國珍、陳友定則是胸無大誌，不求進取。
為鞏固應天，謀求進取，朱元璋訪知浙東有劉基、葉琛、章溢等名士，便請他們出來。劉基便向朱元璋提出了如何改變四麵受敵的局麵和進而奪取天下的“十八策”，為朱元璋定下了先西征、再東討，然後南下、北伐奪取全中國的戰略決策。當前，要麻痹住張士誠，全力攻擊陳友諒，陳滅張必孤，一舉可兩得；然後再北向中原，王業必成。朱元璋稱讚不已。隨後，完全按照這一方略行事。
隨著應天根據地的鞏固，朱元璋和他建立的應天政權，也就逐漸加快了向封建化的轉變。如果說，從李善長、陶安、李彐的參加為朱元璋及其政權變質的開始，那麼，到了劉基、葉琛、宋濂、章溢等的加入，便進一步加深了質變的進程。這時盡管陳友諒、張士誠等人早已稱王稱帝，但朱升“緩稱王”的教誨之聲仍在朱元璋的耳邊回響，他按捺住自己，而未急於稱王。
陳友諒在元末群雄中力量最強，疆土最廣，野心也最大，他原是徐壽輝的部將，後來殺徐壽輝自立，改國號為漢。至正二十年五月，陳友諒攻下太平路，朱元璋的守將花榮戰死，繼而又占采石，應天近在咫尺。
麵對陳友諒的東下和應天城內的不安情緒，朱元璋與劉基在密室商議對策。劉基還是重申他先滅陳友諒的主張。朱元璋也認為投降或逃走是下策，唯一的出路是堅決抵抗。於是，二人設計了集中實力，後發製人，捕捉有利戰機，攻擊其薄弱環節，以打亂敵人的陣腳，挫其銳氣而勝之的策略。朱元璋部將康茂才是陳友諒的老朋友，便請康茂才施假降計，引誘陳友諒上鉤。
康茂才府上的老門房以前曾伺候過陳友諒。康茂才就叫他帶著自己的親筆信去見陳友諒。表示願意裏應外合，並建議陳友諒兵分三路直取應天，與自己在城西江東橋會合，以喊“老康”為暗號。陳友諒高興萬分，並問橋是石橋還是木橋？答是木橋。陳又請老門房轉告康將軍，他將親自帶領一路軍隊至江東橋與他會合。
老門房歸來，朱元璋在搞清陳友諒的布置後，便在盧龍山（今南京獅子山）頂設指揮部，確定以舉黃旗為伏兵出擊的信號，除安排守城力量外，分兵兩路，以康茂才和徐達帶領重兵在江東門外設伏，並連夜將木橋改建為石橋；調胡大海率奇兵進襲廣信，搗陳友諒的背後。萬事俱備，就等陳友諒自投羅網了。
求勝心切的陳友諒日夜兼程，自帶主力趕赴江東橋。到橋頭一看，不是木橋而是石橋，始覺受騙，大吃一驚，銳氣挫落一大半；連忙高喊“老康”，無人回答。正在膽戰心驚猶疑之時，忽見山上黃旗招展，頓時伏兵四起，陳友諒措手不及，主力很快被擊潰，還被生俘兩萬多人。因為退潮，陳友諒水軍艦隻擱淺，全部作了俘虜。朱元璋乘勝西下，收複太平、安慶、信州、袁州。至正二十一年正月，小明王封朱元璋為吳國公。
陳友諒不服輸，決心報應天城下之仇。當年九月，遣將又把安慶攻下，力圖再次東下雪恥。朱元璋得訊後大怒，立即召開軍事會議，決定西伐，親自統率大軍，一鼓作氣攻下安慶、江州。陳友諒為人忌能護短，自從殺徐壽輝奪位後，原徐壽輝的將帥不服，因怕被殺害，紛紛投奔朱元璋；沒有投奔的，也心懷異誌，出戰時不肯出力效死，所以不堪一擊。江西全境和東南角，很快便被朱元璋占領。陳友諒自己逃往武昌。這樣一來，幾年來陳強朱弱的軍事形勢完全改觀，朱元璋已具備了與陳友諒決一雌雄的實力。
至正二十三年六七月間朱元璋與陳友諒在鄱陽湖展開了大規模水戰，雙方參戰人數總共達8O萬之多，兩軍苦戰36天，最後以朱元璋得勝，陳友諒敗亡而告結束。
輕敵的陳友諒，以幾十條大船用鐵鏈連在一起，迎戰朱元璋小船組成的活動船隊。而朱元璋恰好憑自己的船小，又能單船行動，操作靈活，進退自由的長處，不斷用火攻的辦法進攻，令陳友諒難於防備，拙於應付。
陳友諒見朱元璋的小船組成的船隊在湖麵上零零落落，散布一片，便指揮著艦隊如老鷹捉小雞般地向小船群猛撲過去。朱元璋則不慌不忙的揮動旗子，指揮小船立即四散。這樣你來我散，你去我擾數十天，攪得陳友諒又氣又急，焦躁萬分而又無可奈何。後來，陳友諒改變戰法，變一口吞為慢慢吃，改驅趕為炮轟，朱元璋也改激將法為實戰法，即當自己占上風時，及時組織火攻。因此，湖麵上兩軍相搏苦戰，互有勝負，雙方死傷都很大，但陳友諒孤軍深入，接濟斷絕，最後幾乎彈盡糧絕。
為此，陳友諒召開了軍事會議，在會上，右金吾將軍主張燒船登陸，直奔湖南再作打算；左金吾將軍則主張繼續打下去，認為死裏求生必勝，結果已喪失信心的陳友諒同意登陸逃走。左金吾怕被處死，散會後便帶領自己的隊伍投降了朱元璋，右金吾將軍看到陸上已被封鎖，前途無望，隨後也趕來投降。七月二十一日，陳友諒帶領餘下的部隊在淩晨出發，向湖口方向開去，發現一片白船在前攔截，急掉頭後退，後麵又是一片白船等著，在前後夾擊，四麵受敵中，全軍潰敗，陳友諒也被飛箭射死。敗兵載陳的屍體和太子陳理乘黑夜靠岸登陸，連夜護送武昌，從而結束了這場大決戰，朱元璋大勝。
二月，朱元璋率大軍西征武昌，陳理投降，建立湖廣行中書省。到年底，陳友諒的漢國疆土，漢水以南，贛州以西，韶州以北，辰州以東廣大地區，盡為朱元璋占領。
朱元璋打敗陳友諒後，將攻擊的矛頭指向了張士誠。
朱元璋戰勝張士誠的戰略部署，基本上分為三步進行：
第一步的戰略目標是奪取張士誠江北淮河流域的地盤，這一步，自至正二十五年（公元1365年）十月至二十六年四月，用了半年時間，便攻克了今蘇北和皖北的通州、興化、鹽城、泰州、淮安、徐州、宿州、安豐等地。
第二步的戰略目標是奪取張士誠在浙西的地盤，這一步，自至正二十六年八月到十一月，用了三個月時間，便先後取得了占領杭州、湖州的勝利，從而實現了三麵包圍平江的態勢。
第三步是奪取平江城，實現消滅張士誠的最終戰略目標。
圍困平江的戰役，自至正二十六年十二月吳元年九月，用了十個月的時間，以勝利結束。張士誠麵對外無援兵，內無糧草的狀況，組織數次突圍又均遭失敗，負氣鬥狠，決心與城同存亡。朱元璋在一次次勸降失敗之後，最後下令全麵攻城。城破後，張士誠親自帶領親兵進行巷戰，最後見敗局已定，便一把火燒死全家大小，然後自己上吊自盡。門外部將見其府中火起，撞門而入，救下了張士誠。此時，朱元璋的軍隊也已趕到，便將張士誠活捉，由水路解往應天。在船上，張實行絕食，並且始終一言不發。到應天後，朱元璋問話也不答理，還痛罵李善長，被亂杖當堂打死，吳國徹底解體。
朱元璋雄心勃勃，在滅了張士誠後，馬上部署南征、北伐的大計。當時他統治的地區，占有漢水下遊和長江下遊這塊中國領土中最肥沃、物產最豐富、人口最稠密、經濟最繁榮的地區。
當時的南中國，軍事形勢是：浙東為方國珍的勢力，以四川為中心的地區為西係紅巾軍的夏國，明玉珍之子明升占領，其它均為殘元勢力：雲南有元宗室梁王鎮守，福建是陳友定，兩廣也是元朝的勢力。
以慶元（今浙江寧波）為根據地，稱雄浙東達2O年之久的方國珍，朱元璋在取得平江一役滅吳國之後，便順手牽羊，於吳元年九月派湯和、朱亮祖帶領大軍直取慶元並台州、溫州，方國珍敗入大海，又被廖永忠水師所敗，隻好向朱元璋投降，浙東為朱元璋所有。
朱元璋分析了形勢，決定再向福建和兩廣進軍。他兵分三路向福建進發。三路大軍很快就把延平包圍。明洪武元年（公元1368年）正月城破，陳友定與同僚訣別，服毒自殺，未死被俘，被解往應天。朱元璋坐堂責問何去何從，陳友定厲聲回答：“國破家亡，一死而已。有何可說！”朱元璋便下令立斬陳友定及其家口。接著，朱元璋又用了8個月的工夫，福建全省就全部占領為己有。