至正二十一年(1361年)，朱元璋親率三軍溯長江西征陳友諒。先攻安慶不克，劉基知陳友諒重兵駐防安慶，其老巢江州(今江西九江市)必定空虛，便建言馬上轉攻江州，果然一舉而下，陳友諒棄逃武昌。不久，陳友諒部臣江西行省丞相胡廷瑞以保留部隊為條件前來議降，朱元璋從劉基勸，接受胡的條件。胡降，其他守將見此紛紛前來納款，整個江西很快並入朱元璋的版圖。至正二十三年(1363年)四月，陳友諒乘朱元璋北上解小明王韓林兒安豐被圍之際，從武昌率軍傾城而出，圍攻洪都；想守回這一重鎮。守將朱文正力拒抵抗，兩軍相持多日。七月，朱元璋率大軍南下，與陳友諒決戰於鄱陽湖上。劉基日夜侍隨朱元璋左右，參與軍機。兩軍鏖戰，血染湖水，雙方死傷慘重，最後在湖麵上相持不下。這時劉基向朱元璋獻計，建議派重兵扼守鄱陽湖四周出口之處，以困陳友諒。不久，陳友諒率殘軍突圍。想從小港汊口處逃竄，結果被朱元璋軍扼住。陳友諒戰死，餘軍大潰。消滅陳友諒勢力以後，朱元璋馬不停蹄，立即又揮戈東進，征伐張士誠。至正二十七年(1367年)九月，攻占平江(今江蘇蘇州市)，張士誠走投無路，自縊身死。自此長江中下遊地區盡歸朱元璋所有。朱元璋對劉基說：“先生是我創立江山的第一等功臣。”
劉基還有許多出其不意的戰術，每遇戰事往往以奇計製勝。在打江州時，他見江州城牆沿江而築，又很低矮，便授意在戰艦上建造雲梯天橋。夜間駛到城牆腳下，將天橋架在城牆上，士兵緣梯而上，順利破城。至正二十三年(1363年)他奔母喪從處州返金陵，途經嚴州(今浙江建德縣)，正適張士誠部來犯，嚴州守將李文忠要出兵迎擊，劉基勸阻說，不出三日，敵人會自己退走，到時出兵追擊，可獲大勝。李文忠聽從了劉基的勸說。第三天黎明，敵軍果退，李文忠出擊，大勝而歸。
劉基的運籌帷幄、神機妙算不僅使同僚下屬欽佩不已，也博得了朱元璋的信任與尊敬。朱元璋將他比作漢代謀臣張良、尊稱他“老先生”而不呼其名，經常和他一起商量軍政大事，有時遇有重大決策，僅召他一人進密室相議，一談便是半日。朱元璋有時對他幾乎到了依賴的程度。劉基母親故世，他想告假回鄉奔喪，朱元璋舍不得他離開，婉言挽留而不準假。後來勉強準了，還不時寫信到青田鄉裏請教軍政大計，劉基則詳細分析答複，總使朱元璋非常滿意。盡管這樣，最後朱元璋還是提前召他回來。見人主如此誠意待己，劉基也以朱元璋為不世之遇，悉心輔佐，知無不言，為朱氏大明王朝的建立作出了不可磨滅的貢獻。