外部最有威脅的勢力是小明王。白蓮教教主韓山童在起義開始不久就被元軍捕獲殺掉了。劉福通找到韓山童的兒子韓林兒，奉他繼位教主。至正十五年二月，也就是郭子興去世前一個月，劉福通又擁立韓林兒為皇帝，號小明王，建立政權，國號為宋，建元龍鳳，定都亳州。得知郭子興死後，大宋農民軍當然也想收編這支軍隊，壯大自己的實力。
同時，郭軍內部，形勢也有點複雜。郭子興去世之後，留下了兩個兒子郭天敘、郭天爵，一大一小兩位夫人和一位妻弟張天佑。郭天敘乃郭子興的嫡長子，以父死子繼的習慣，接父親的班最合適。就是張天佑，從血緣上說，也比幹女婿朱元璋更近些。郭子興一死，這兩個人也都躍躍欲試。
恰在這時，至正十五年四月，也就是郭子興死後一個月，大宋小明王政權派使者來到和州，聯絡郭家軍。郭天敘和張天佑知道自己不是朱元璋的對手，因此十分願意投靠小明王做自己的靠山。於是張天佑隨使者前去亳州朝拜小明王。到了亳州，張天佑大講軍心如何擁戴故主，如何願意故主之子接班。結果他如願以償，從亳州帶回了小明王政權的任命狀；以郭天敘為都元帥，張天佑為右副元帥，朱元璋為左副元帥。也就是說，朱元璋成了三把手。
朱元璋的第一反應當然是十分光火。誰不知道現在這支軍隊主要聽他指揮？你郭張二人搞這個小動作，實在太不自量力。幾位親信也勸他拒絕這個任命。但朱元璋畢竟是非同尋常之人。他轉念一想，接受這個任命也有好處。小明王政權離自己距離很遠，鞭長莫及，接受了封號，並不等於受到他們實際控製。同時，接受這個任命畢竟可以免於郭家軍的內部分裂。他深知郭天敘年輕沒經驗，張天佑雖然年歲大，但優柔寡斷，缺乏智謀。遇到複雜的形勢，還是需要自己出來做主。給郭張兩人一個虛名，並不影響自己對這支軍隊的實際控製權。在這個憂患時刻，他暫時隻能以退為進。
因此，龍鳳元年（公元1355年）四月，朱元璋和郭天敘、張天佑一起接受小明王的封號，在和州建立都元帥府，奉龍鳳為正朔。果然如朱元璋所料，主帥新死，孤軍難立，外部形勢如此緊張，郭張二人也沒有主意，不知道怎麼應付，因此凡事都是聽朱元璋的。朱元璋雖位居第三，實際上卻成了都元帥府的主帥。
久駐和州也不是長遠之計。朱元璋決定打過長江，攻占太平（今安徽當塗），向江南發展。江南本是著名的繁盛之區，更何況還有龍盤虎踞的集慶（南京）的誘惑。
六月初二，朱元璋親率水陸大軍萬餘人，乘坐風鬥快船和筏子，以常遇春為先鋒，開始了渡江戰役，目標是對岸的采石。一千多艘大小船隻，分列兩隊，揚帆競發。常遇春膂力過人，射得一手好箭，以勇猛著稱，他不負使命，帶領幾支小船，一馬當先，強行靠岸，揮戈殺向元兵。元兵伸手抓戈，他順勢躍上江岸，左衝右突，元兵四散逃竄。
接著，朱元璋指揮軍隊，又乘勝攻占了太平，在江南立下腳來。
借刀殺人，建立權威
渡江攻占采石、太平，朱元璋邁出了通往帝業的第一步。不過，太平處於元軍四圍之中，因此要鞏固這個新攻下的城市必然還要經過一番波折。朱元璋進入太平城不久，就被元“義軍”（主動站出來鎮壓起義的民間武裝）元帥陳野先率數萬大軍包圍。
破解圍城，朱元璋已經經驗豐富，指揮如意了。他和湯和二人親率精兵出城迎戰，而派徐達等人率大軍從另一城門出發，繞到敵後，乘敵人的注意力全部被朱湯二人吸引時從背後突然襲擊。陳野先兵敗被俘。
陳野先所率雖然不是元朝的正規軍，但是威名久著。朱元璋早就聞聽陳野先的勇猛能戰，這次見到這位敗軍之將長得魁梧英發，極想讓他成為自己的左右手，遂全力勸降，並宰白馬烏牛，祭告天地，和他結為兄弟。陳野先的兩萬部下都歸朱元璋所有。