先時太祖因事而譴責李善長，劉基進諫說，李善長是朝廷勳舊，能團結聯絡諸將，不宜苛責。太祖說，這個人幾次想加害於你，你為何還要容忍他呢？我準備立你為宰相。劉基叩頭推辭說，宰相是國之棟梁，這就像給房子抽換梁柱，一定要用大木支撐，如果用一些小木條去替換它，整座宮室馬上傾覆坍塌，決不可疏忽大意，視如兒戲。他與善長有隙，但在對待朝廷大事上仍可做到不記前嫌，力保朝廷重臣，赤誠公心可見一斑。
及李善長終因“謀逆”之嫌被罷相後，在輔助太祖選相問題上，劉基又具體表明了自己的主張。最初太祖想任楊憲為相，劉基的看法是，因為楊憲與劉基為至交好友，彼此了解較多，所以他對朱元璋進言道：“憲有相才，無相器，夫宰相者持心如水，以義理為權衡而已。無與者也，憲則不然。”⑥認為楊憲沒有宰相器量。太祖又問到汪廣洋為相何如？劉基說：“此褊淺殆甚於憲”⑦又問胡惟庸何如人？劉基說：“譬之駕，懼其僨轅也。”⑧他打個比方說，駕車最怕驚轅，如用胡惟庸駕轅為相，大有翻車之險。最後太祖認為，做宰輔重臣，莫過於劉基其人了。不料劉基對自己的為人也作出了估價，他說：“臣疾惡太甚，又不耐繁劇，為之，且孤上恩。”⑨劉基認為天下之大，不怕沒有人才，勸太祖一定要嚴格細致地挑選和考察真正的人才，再授之宰輔重臣之位。在劉基看來太祖提到的包括他自己在內的幾個人，都不夠條件。這種知人自知，公允論事的赤誠公心，實為難能可貴。果然後來楊憲，汪廣洋做了宰相都失敗了。胡惟庸好擅權，終不被太祖所容，釀成大獄，這也可以算是劉基輔佐太祖治國任賢的最後一件大事。
洪武三年授劉基弘文館學士，又授劉基開國翊運守正文臣資善大夫，上護軍，封誠意伯，祿二百四十石。洪武四年賜歸老於鄉。退休後，太祖亦嚐問事，劉基條陳甚悉，大略言霜雪之後必有陽春，“今國威已立，宜少濟以寬大”⑩。劉基輔佐太祖定天下，料事如神，性剛嫉惡，多有觸犯邪惡人物，退役歸裏，惟飲酒弈棋，終不複見韜跡。劉基因對胡惟庸多有得罪，歸老於鄉後，胡惟庸亦曾進讒言加害，太祖雖不降罪於劉基，然而亦頗為胡惟庸讒諂所動，以至削奪其俸祿。劉基入京謝罪，不複敢離京師，不久，胡惟庸為相，劉基憤懣疾發，被護送歸裏養屙。至家中，將天文書交複長子劉璉，令其速上繳國家圖籍庫，不許後人傳習使用。又對次子劉璟說：“夫為政寬猛如循環，當今之務，在修德省刑。……諸形勝要害之地，宜與京師聲勢聯絡。”又上遺表一封，但又怕胡惟庸中阻，令其子見胡惟庸敗後，太祖一定思念劉基，可上密奏示意。居一月，病卒，年六十五歲。劉基在京居住發病時，胡惟庸曾派太醫診治，且服湯藥，服後腹中如滯拳石，遂不起。後來中丞塗節，首先向胡惟庸發難，告其謀逆，同時揭露服藥之事，說胡惟庸使劉基服藥後致死。據《明史》本傳所載：“基虯髯，貌修偉。慷慨有大節，論天下安危，義形於色。帝察其至誠，任以心膂。每召基輒屏人密語，時基亦自謂不世遇，知無不言。遇急難，勇氣奮發，計劃立定，人莫能測。暇則敷陳王道，帝每恭己以聽，常呼為老先生而不名。曰：‘吾子房也。’又曰：‘數以孔子之青導予’。”這段概括之語，描述了劉基的為人及與太祖間的君臣關係。這是比較合乎事實的記錄。至於後世之人傳說，劉基神乎其神，對其韜光智略，歪曲為陰陽風水之說，則荒謬不足據。劉基是江南四大名儒之一，為文氣勢磅礴，妙不可言，與宋濂同為一代宗師。著有《覆瓿集》、《犁眉公集傳》等。
注釋
①《明史》卷一二八《劉基傳》。
②《明史紀事本末》卷三《太祖平漢》。
③④⑤⑥⑦⑧⑨⑩《明史》卷一二八《劉基傳》。