在兵荒馬亂的年代，亂世出英雄，群雄競逐鹿，劍拔弩張，爭權奪利。朱元璋深深感到自己勢單力薄，他已悟明：欲想奪取天下，招兵買馬、廣納賢士、出謀獻策、風雨共濟，這才是圖謀天下的大計。
朱元璋是個誌向遠大之人，他在軍中呆的時間長了，對各種事情看得越來越透徹，漸漸覺得這幫人治軍無方，馭下無道，成不了什麼大氣候。他還深深地認識到，在這群雄割據、爭奪激烈的局麵下，不發展自己的武裝，不招攬英豪為己所用，是很難有出頭之日的。至正十三年（1353年）六月，他稟明郭子興，回到故鄉鍾離招募士兵。不到十天，就募集了七百人。他將隊伍帶到濠州交給郭子興。自然，郭子興非常高興，提升他為鎮撫，並把這七百人交給他統率，後來，又升他為總管。可以這麼說，鍾離之行是朱元璋事業的一個重要轉折點，是他培植自己親信勢力的開始。
就在公元1352年9月，彭大、趙均用投奔濠州，元軍接踵而來。這一年對朱元璋來說是比較重要的一年。
濠州被元軍整整包圍了七個月之久，形勢危急。這段時間裏，朱元璋曾奉命突圍而出，攻打蕭縣、靈璧和虹縣，試圖分散元軍的勢力。正當元軍即將對濠州發動總攻之時，主帥突然病死，士兵無心戀戰，解圍而去。被圍了幾個月的濠州，此時城中的存糧基本上吃光了。朱元璋找了些熟人，弄到一些鹽，換回幾十石糧食，總算解決了郭子興的燃眉之急。
也是從此時開始，朱元璋對濠州城裏的氣氛越來越不適應了，在這兒，很多人碌碌無為，他感覺到整天與胸無大誌的人呆在一起，簡直是浪費自己的寶貴時間，是一種慢性自殺，他不能再呆下去了。至正十三年（1353年）底，他把自己統率的七百人交給別人，隻帶著徐達、湯和、吳良、吳禎、花雲、陳德、顧時、費聚、耿再成、耿炳文、唐勝宗、陸仲亨、華雲龍、常遇春、郭興、郭英、胡海、張龍、陳桓、謝成、李新、張赫、張銓、周德興二十四人離開濠州，前往定遠發展勢力。這二十四人可謂是“龍虎際風雲”，他們此後一直追隨著朱元璋，衝鋒陷陣，出生入死，立下赫赫戰功，明朝建立後三人封公，二十一人封侯。
朱元璋這次回故鄉招募士兵，很不順利，工作剛開始，就患了重病，隻得返回濠州醫治，過了半個月，才有所好轉。這時，他聽說張家堡驢牌寨屯據著一支三千人的民兵，主帥與郭子興相識，這時正斷了糧，處境艱難，何去何從，尚未決斷。機不可失，時不再來，朱元璋覺得這是擴充勢力的大好機會，不顧大病剛剛好轉，身體虛弱，就找到郭子興，請求派自己前去招降。郭子興問需帶多少人，朱元璋說人多易生疑，帶十個人就可以了。去張家堡的路上，朱元璋又犯了兩次病，隻得走走停停，一百多裏的路竟走了六天。到了驢牌寨，見了主帥後，朱元璋對他說：“郭公與你是老相識，他聽說你們缺糧，又得到消息說有別的軍隊要來攻打你們，特地派我來報知一聲。如果你們願意跟隨郭公，就與我一起回去。不願意，也要趕快移到別處，以避來犯之敵。”
朱元璋把話說得極為客氣和婉轉，而主帥此時也很困難，力量是不夠的，因此，左思右想，別無他法，又見他說得真誠，就與朱元璋交換了信物，說等收拾好行裝，就到濠州歸附。朱元璋見主帥如此說，便將費聚留下等候，自己先回濠州。不料過了三天，費聚來報，說事情有變，驢牌寨主帥想要把隊伍拉到別的地方去。朱元璋立即帶著三百名士兵趕去，費盡唇舌，但主帥仍是猶豫不決，朱元璋便定下一計，讓人請主帥議事，趁機將他挾持而去，離開營寨十餘裏後，又派人到寨中傳話，說主帥已經選好了新的營地，讓部眾移營。部眾信以為真，便燒了營寨跟著去了，主帥見大勢已去，沒有辦法，隻得歸降於他。緊接著，朱元璋又帶兵去豁鼻山，招降了以秦把頭為首的一支八百人的武裝隊伍。
到此時，朱元璋已招了不少人，他就把收編而來的隊伍，集中起來，開始對這支隊伍進行調整、整編和訓練，以提高隊伍的戰鬥力。此時的朱元璋對訓練軍隊已胸有成竹，在很短的時間內，隊伍的戰鬥力就有了顯著的提高。不久，他就率領這支部隊攻克了屯據橫澗山的繆大亨武裝集團。繆大亨投降，朱元璋一下子就得到了當地兵民七萬多人，從中選出二萬精壯，組成一支大部隊。朱元璋的聲威迅速上升，其他一些結寨自保的地方武裝隊伍相繼來降，使得朱元璋的隊伍日益壯大，具備了爭雄天下的初步基礎。在這些歸附者中，最受朱元璋器重的是馮國用、馮國勝兄弟。他們自小讀書，精通兵法，來歸後，朱元璋向他們征詢計策，馮國用說：“金陵（今南京）龍蟠虎踞，自古帝王多有建都於此者。應當先攻取金陵，以為根本，然後四出征伐，倡仁義，收人心，不貪圖財寶美女，天下是不難平定的。”朱元璋聞聽此言，不由得喜上眉梢，他的心中開始有了一個平定天下的初步綱領。
就這樣，朱元璋不費多大功夫，就收編了地方武裝隊伍。朱元璋心裏也很高興，總是把新歸附而來的隊伍進行重新組合編製，命人率領進行嚴格的軍事訓練。這些人以前都懶散慣了，剛開始時，總是抱怨。朱元璋訓誡說：“你們人多勢眾，卻輕易地就歸我所有，這是為什麼？就是因為將領缺乏紀律，士兵缺乏訓練。現在訓練你們，是要你們都懂得紀律。大家要共同努力，以建立功業！”
經過一段時間的嚴格訓練，這些原來的雜牌軍隊成了一支紀律嚴明、勇敢善戰的部隊。山小難容猛虎，池淺難容蛟龍，朱元璋建立起一支富有戰鬥力的隊伍後，就把目光投向遠方，他要率軍離開濠州，去開辟新的天地。