幾天之後，劉基自知來日無多，找來兩個兒子交代後事。交代完後事時，又讓劉璉從書房拿來一本天文書，對他說：“我死後你要立刻將這本書呈給皇上，一點都不耽誤；從此以後不要讓我們劉家的子孫學習這門學問。”又對次子劉璟說：“為政的要領在寬柔與剛猛循環相濟。如今朝廷最必須做的，是在位者盡量修養道德，法律則應該盡量簡要。平日在位者若能以身做則，以道德感化群眾，效果一定比刑罰要好，影響也比較深遠，一旦部屬或百姓犯錯，也較能以仁厚的胸懷為對方設身處地的著想，所裁定的刑罰也必定能夠達到公平服人，和警惕人改過自新的目的；而法律若能盡量簡要，讓人民容易懂也容易遵守，便可以避免人民動輒得咎無所適從，又可以建立政府的公信力和仁德的優良形象，如此一來，上天便會更加佑我朝永命萬年。”又繼續說道：“本來我想寫一篇詳細的遺表，向皇上貢獻我最後的心意與所學，但胡惟庸還在，寫了也是枉然。不過，等胡惟庸敗了，皇上必定會想起我，會向你們詢問我臨終的遺言，那時你們再將我這番話向皇上密奏吧！”最後於農曆四月十六卒於故裏，享年六十五歲。六月，葬於鄉中夏中之原。
1513年（明武宗正德八年），朝廷贈他為太師，諡號文成。1531年（明世宗嘉靖十年），因刑部郎中李瑜的建言，朝廷再度討論劉基的功績，並決議劉伯溫應該和徐達等開國功臣一樣，配享太廟。
劉基輔佐朱元璋平定天下，料事如神，被人稱為“渡江策士無雙，開國勳臣第一”，但朱元璋大封功臣時，劉基卻不求名利，不以功臣自居，一再謙讓，所以官爵比其他功臣要低。到洪武三年（1370年），劉基受“開國翊運守正文臣”稱號，封為誠意伯，俸祿二百四十石。由於他嫉惡如仇，剛正不阿，敢於直言，與世事多違逆，得罪了丞相李善長、胡惟庸等為首的淮西派，並因多次直諫，逐漸失去朱元璋的歡心。因此在洪武四年（1371年），六十一歲的劉基請求告老還鄉時，建立了大明王朝、坐穩了皇帝寶座的朱元璋，僅作了禦詩道：“先生此去歸何處？朝入青山暮泛湖。”並不作任何挽留，劉基便從此歸隱於山中。
劉基平日飲酒下棋，吟詩作畫，避談政事，從不向人誇耀自己的功勞。青田縣的縣令曾經請求謁見劉基，劉基沒有答應。這位縣令於是喬裝打扮為村野之人，前去看望劉基。到了劉家，劉基正在洗腳，讓侄子把客人帶進茅屋，準備做飯招待縣令。縣令這時才告訴他說：“我是青田知縣。”劉基一聽，驚訝地站起身，口中連稱草民冒昧，然後告辭躲了出去，不肯再見麵。
劉基隱藏蹤跡到這種地步，卻仍然逃脫不了惡運，終究被胡惟庸所害。
胡惟庸靠著李善長而得以官運享通。楊憲被殺後，朱元璋認為胡惟庸有才能，非常寵信他。胡惟庸也勉勵自己，經常小心謹慎地承受皇帝的旨意，受到朱元璋的寵信一天天親厚。他單獨擔任丞相幾年，生殺予奪，有的根本不上奏皇帝就任意執行。朝廷內外各個官署呈上的密封奏章，胡惟庸必定先拆開來看，內容對自己不利的，就藏匿起來不上報。各地急於進取的人和失去官職的功臣武人，都爭著奔走於他的門庭下，饋贈的金銀、名馬、珍奇玩物，數不勝數。大將軍徐達十分忿恨他的奸邪，就向朱元璋報告了他的這些非法行為。胡惟庸得知後，引誘徐達家的看門人福壽，讓他誣告徐達，福壽向徐達揭發了這件事，徐達沒有進行追究。劉基任禦史中丞時，也曾對皇帝陳說過他的短處，因此胡惟庸一直恨他，總想找機會圖謀劉基。