濠州的紅巾軍裏，連郭子興在內，共有五個元帥。五個人平起平坐，不分高低，誰也管不了誰。除郭子興外，另外四個元帥都有點江湖氣，不講紀律。郭子興漸漸看不慣他們，他們也嫌著郭子興。日子一久，矛盾越來越深，四個人就合在一起，排擠郭子興。有一次，郭子興險些被他們害死，虧得朱元璋得到消息，把郭子興救了出來。
朱元璋發現起義軍的幾個將帥胸襟狹窄，在他們手下幹事，成不了什麼氣候，就回到老家，招兵買馬。他少年時候的夥伴徐達、湯和，聽說朱元璋做了紅巾軍的將領，都來投奔，不到十天，就招募了七百人。後來，又襲擊元軍，招降了一批元軍。朱元璋得了大批生力軍，整頓紀律，加緊訓練，把手下的軍隊訓練成一支戰鬥力很強的隊伍，聲勢大振。
定遠有個文人李善長，是個很有計謀的人，也來找朱元璋。朱元璋知道他很有學問，就讓他在起義軍裏當謀士。有一次，朱元璋問李善長說：“現在全國到處都在打仗，什麼時候才能太平呢？”
李善長說：“秦朝末年，也這樣大亂過。漢高祖是平民出身，因為他氣量大，能夠用人材，又不亂殺人，隻用了五年時間，就統一天下。現在元朝政治這樣混亂，天下土崩瓦解，您何不向漢高祖學習呢？”朱元璋聽了之後，覺得有道理，就一心一意想學漢高祖劉邦。之後，投奔他的人越來越多。
朱元璋帶著自己訓練出來的隊伍，連續打下滁州、和州。小明王韓林兒在亳州稱帝那年，郭子興得病死了。小明王就封郭子興的兒子郭天敘為都元帥，朱元璋做了副元帥。
郭天敘沒有指揮戰鬥的經驗，紅巾軍中大多將士都是朱元璋的親信，朱元璋名義上是副帥，實權全掌握在他手裏。沒多久，郭天敘在攻打集慶（今江蘇南京）的時候，被叛徒殺死，朱元璋就當了名副其實的元帥。
朱元璋獨掌兵權以後，率領大軍大破元朝水軍，渡江攻打集慶，集慶五十多萬軍民投降。朱元璋進了集慶，出榜安民，把集慶改名應天府。從那時候起，朱元璋就以應天府作為根據地，向江南一帶發展，逐步擁有一統天下的勢力。