之後，他悉心輔佐，很快就成了太祖的得力臂膀。太祖也不斷委以重任，把他當作心腹。隨著太祖的威名越來越大，越來越多的人投到太祖軍中。李善長則細心考查他們的才幹，薦舉優秀人才。並經常反映將士們的意見，使軍中人人心情舒暢。李善長的到來，為太祖軍的團結起了重要作用，也使太祖的主將地位日益鞏固。郭子興曾盛情邀請李善長到自己軍下，被李善長謝絕。太祖因此更加器重他。
李善長的全力輔佐使得太祖可以全力攻占，並無後顧之憂。太祖起兵駐軍和州（今安徽和縣）時，親自帶兵出襲雞籠山寨，隻留下少量兵力給李善長讓他留守和州。元軍知道這一情況後便來偷襲。未料想李善長早有估計，提前設下伏兵。敵軍一到，伏兵四起，使元軍落荒而逃。太祖聽到捷報格外高興，表揚李善長說：“怎麼能說你僅僅是策謀劃計的文人呢，你今天的勝利真叫執戈的武將也不得不佩服啊！”
此後太祖率軍連續征戰在外，命李善長始終留守應天府（今南京）。李善長很快便使那裏將吏和睦，百姓安居，生產發展，百業俱興，充足的軍需源源送往前方，為太祖開國建業立下了汗馬功勞。
太祖稱帝後，對李善長絕對信任。太祖洪武元年（1368）五月，太祖去汴梁（今河南開封）視察，留李善長在京居守，三個月間大小事務都由李善長按定規、時勢自行處置。以後，太祖更把除軍事外的一切朝廷事務統歸李善長掌管，如建置地方各級職官、製訂官民喪服儀禮、功臣爵賞、民間訴訟等。事無巨細，李善長也都不厭其煩地認真處理，安排有致。
洪武三年（1370）太祖大封功臣，認為李善長雖然沒有攻城奪地的汗馬功勞，但在連年征戰中，精治後方，給足軍食，功勞不可磨滅，晉封他為韓國公。在當時同封的功臣中，李善長位列第一，太祖把他和蕭何並論，褒讚備至。
汪廣洋為什麼能夠居於丞相之位
汪廣洋（？～1379），字朝宗，高郵（今江蘇高郵）人。太祖渡長江的時候，召他任元帥府令史，江南行省提控。攻下贛州（今江西贛縣）後，又授任他為江西參政一職。
太祖洪武元年（1368），山東平定後，由於汪廣洋清廉明察，處事穩重，太祖便命他為主管行省。三年，李善長生病，中書省缺少官員，於是太祖便召汪廣洋任左丞。當時的右丞楊憲處事非常專斷，汪廣洋處處依從他，但還是被他妒忌。楊憲一次次地彈劾，終於致使汪廣洋被放逐到海南，直到楊憲被誅殺才被召回朝廷。
後來，李善長因病離職回鄉。於是太祖便命汪廣洋為右丞相，胡惟庸為左丞相。但由於汪廣洋在任職期間並沒有好的建議，因此後來被降職，遷任廣東行省參政。不過，太祖心中仍然覺得汪廣洋好，於是不久又把他召回來任左禦史大夫。洪武十年，又升為右丞相，與胡惟庸同任丞相。
隻可惜，他為求保住官位，隻知道隨波逐流。十二年（1379），中丞塗節說胡惟庸毒死了劉基。太祖問汪廣洋，汪廣洋卻不以實情相告，妄圖包庇胡惟庸。太祖震怒，把他貶到海南，中途又下令誅殺他。
太祖初年設立中書省，設左右丞相管理主持朝廷事務。當時大都任用有功勳的大臣兼管中書省事務。但這些大臣又會經常接受命令率兵征討，不能專門管理中書省事務。因此，太祖初年真正名副其實的丞相隻有李善長、汪廣洋、胡惟庸三人。汪廣洋雖忠謹厚道，能保住自己，但卻不知揭發奸邪，實在有愧於丞相這一職務。
為什麼劉基被視為諸葛亮式的人物
劉基（1311～1375），字伯溫，青田（今浙江青田）人，博通經史，尤其精通星象、讖緯之學。西蜀時趙天澤評說江左人物，把劉基列為第一位，說他是諸葛孔明之類的人物。
太祖攻下金華（今浙江金華）後，聽聞劉基的名聲，便禮聘他出山。劉基向太祖陳述了關於時務的十八條策略。太祖非常高興，建禮賢館讓他居住，恩寵備至。太祖又詢問他征伐攻取的計謀，劉基說：“張士誠隻是個武夫，胸無大誌，不足為慮；陳友諒劫持君主，占據上遊，沒有一天不想要殺掉我們，應當先除掉他。陳氏滅亡了，張士誠就會勢單力薄，一下就可平定，然後我們再北進中原，就可成就王業了。”太祖依計而行，後來王業的發展，果真大致就如劉基最初所謀劃的那樣。太祖就曾經對劉基說：“先生是我創立江山的第一等功臣。”
劉基又精通天象，經常借助天象向太祖進言。出現大旱時，他就請求太祖審決以前積壓拖延的案件。太祖命他負責糾正冤假錯案，沒過多久，便大雨如注；他還經常通過分析太祖的夢境向太祖進言頒布一些與民有利的政策。在他告老還鄉之後，太祖都還曾親筆致信向他詢問天象，他都逐條地做了回答，主要內容就是說霜雪之後，必有陽春，如今國家的威嚴已經樹立，政策應該稍微寬大一些，與民休養生息了。