至正十五年（公元1355年）初，朱元璋率軍攻下和州（今安徽和縣）後，郭子興任命他為總兵官，統率和州諸將兵馬。當時和州的諸將成分複雜，多為郭子興的部下，紀律鬆弛，為所欲為，很不得人心。朱元璋上任後，不被他們所看重，每次議事，都把最末的一個座位留給他。朱元璋決心改變這種狀況。不久，他創議修建城池，規定每人負責一段，限定三天完工。屆時隻有朱元璋負責的一段修完，於是，他拿出郭子興的金牌，厲聲說：“我這個總兵官是郭元帥任命的，大家理應服從。修建城池已有約在先，大家不能按時完工，萬一敵人來犯，我們怎麼對付？此事既往不咎，今後再有違抗命令者，一律軍法嚴懲！”眾將從此聽命於朱元璋，再也沒有違紀現象發生。
同年三月，郭子興去世。此時，韓山童的兒子韓林兒被擁立為小明王，國號宋。小明王任命朱元璋為左副元帥。不久，在兩位副帥先後戰死後，朱元璋又被提升為大元帥。至此，他的嶽丈郭子興所創建的起義軍舊部已全部歸為他指揮了。
朱元璋成了一軍之主後，感到自己掌管的地盤狹小，兵馬太少，難以實現自己的宏圖大業，必須打過長江去，才能求得進一步的發展。於是，他特別注意瓦解敵人，壯大自己；同時，又采取措施，鼓舞土氣，使他們勇猛作戰，一往無前。
至正十六年（公元1356年）仲春，朱元璋親督水陸諸將，按既定戰略攻取金陵。在城外的一場激戰中，元軍大敗，僅收降元兵即達36000多人。降兵收容後，不知朱元璋會如何處置，個個非常恐懼。朱元璋身旁的將士向他進言，降眾過多，怕有他變，不如及早處置。可朱元璋沒有采納將士們的意見，而是在降卒中挑選500個驍勇健壯者，帶到自己的營房，夜裏讓他們環榻而寢。房中除留馮國用外，他平日的衛士一個也不留宿。朱元璋脫下戰甲，登床酣然入夢，一覺到天亮。500名勇士非常感激朱元璋的信任。數日之後，朱元璋複用這500名降卒為先鋒，攻打金陵城。降卒們感恩思憤，衝鋒陷陣，英勇殺敵，長驅直取金陵城下，人人榮立戰功。三萬餘名降卒見朱元璋果真以誠相待，也感激不已，以後作戰中均忠心為他效命。朱元璋的隊伍由此所向無敵，名播四方。
很快朱元璋就攻下了金陵，第二天，朱元璋帶領徐達等巡視全城，看到它的雄偉、它的富庶和繁華，恍忽如在夢中，那種激動與興奮簡直無法按捺，遂對徐達等人說：“金陵枕山帶江，真是天造地設的一塊寶地，難怪古人稱之為長江天塹。況且倉廩實，人民足，今天終為我有，再加上諸位同心協力相助，還有什麼樣的功業不能建立！”徐達附和道：“元帥建功立業決非偶然，今天能夠得到它，實在是上天所授！”聽到這話，朱元璋更是喜歡。從此，朱元璋有了一個為將來打天下而積蓄力量的可以立足的基地。
攻占金陵之後，朱元璋改金陵為應天府。這時，在他的北麵是義軍韓林兒、劉福通，東麵是張士誠，西麵是徐壽輝。雖然地盤不大，但東、西、北三麵都有義軍力量處在第一線，似屏障一樣保護著朱元璋這支義軍隊伍。朱元璋充分利用這一有利形勢，以應天府為中心，先後迅速攻克鎮江、長興、常州、寧國、江陰、常熟、池州（今安徽貴池）、徽州（今安徽歙縣）、婺州（今浙江金華）、揚州、衢州等地。
這時候的朱元璋，經過7年槍林彈雨的洗禮，已由一個隻為求食謀生的和尚，成長為一名馳騁沙場的義軍將領；由一個小小的步卒成長為稱雄一方的霸主。至正十九年（公元1359年），小明王韓林兒又任命朱元璋為江南等處行中書省的左丞相。
逐鹿中原應天稱帝
取得了初步勝利後，如何發展今後的事業，是擺在朱元璋麵前的首要問題。至正十七年（公元1357年）在勝利攻占徽州之後，朱元璋親自來到了石門山拜訪老儒朱升，討教治國平天下之策。朱升高瞻遠矚，送了他三句話：“高築牆，廣積糧，緩稱王。”
所謂“高築牆，廣積糧”就是先築好防禦工事，多存糧草，暫取守勢，不要出擊，多保存自己的實力，坐山觀虎鬥，等到別人實力耗盡，再出來收拾殘局。所謂“緩稱王”，是指對付元廷的策略，即不圖虛名，暫不稱王。許多義軍稱帝稱王，成了元兵打擊的目標，太不合算，不如先做縮頭烏龜，在別人大事招搖之時，深藏不露，設法自保；等到時機成熟，再一鳴驚人。