即帝位後的朱元璋，心態開始發生變化，“非我族類，其心必異”這是所有帝王的一貫思維，隻不過在朱元璋身上更變本加厲，更刻薄寡情。本來第一個要收拾的是獨攬大權的丞相李善長，因為李嫉恨劉伯溫，朱元璋就選擇劉伯溫充當殺手。他心裏應該明白，讓他出來收拾李善長，既是利用，也是試探他的忠誠度。他一旦受命或可減輕朱元璋的猜疑，然而，唇亡則齒寒，此例一開，以後朱元璋對待開國功臣元老就會換另外一副麵孔，此等不義之舉，按劉伯溫的個性是絕不可為的。正因為如此，第二年他就請退，告老還鄉了。
劉伯溫雖歸老於鄉，但朱元璋疑忌之心很強，人不在身邊反覺難以掌控，更欲除之而後快。劉伯溫也知道朱元璋對他不會就此放心的，所以他把兒子留京為官，算是人質。而且朱元璋每年歲暮都將退休的劉基之子璉，宋濂之子允載，葉琛之子永道、胡深之子伯機等召去京師，接見於便殿，噓寒問暖，“親加訓誨，燕語如家人。”實則是要暗中控製。故此，退隱後的劉伯溫異常低調，即便如此，最終還是未逃脫朱元璋的算計。
朝廷方麵，李善長為朱元璋所忌，已經自動退休，胡惟庸與李善長同鄉，因李的舉薦而成為丞相。其實，早在洪武二年，朱元璋曾就李善長外另一丞相人選問題征詢過劉伯溫的意見，劉就不看好胡惟庸，胡惟庸因此對劉伯溫懷恨在心。後來終於在朱元璋暗助下得到了一次報複的機會。
當時甌、閩間有一條狹長的地域叫談洋，該地區是鹽販、盜賊聚集的地方，方國珍便是從這起兵反叛的。劉基委托兒子劉璉上奏，建議應在該地區設立巡檢司以控製管轄該地，使那裏的刁民無機可乘，不能互相勾結或脅迫戍邊士兵一道出逃反叛。胡惟庸使刑部尚書吳雲彈頦劉基，反指淡洋踞山臨海，有君王之氣，劉基想要謀取作為自己的墓地，當地百姓不答應，便想要在那裏設置巡檢司為難當地民眾，才導致該地區形勢迅速惡化。
朱元璋對此事不置可否，隻是命令下傳此文讓劉伯溫知曉。這是一個明確的信號，也是一種脅迫，如果沒有合適的反應，謀反的罪名就會臨頭。劉伯溫於是隻好赴京親自上朝拜見朱元璋，但朱元璋又假裝全然不過問此事，劉伯溫既不能辨白，又不敢離京。不久便發病了。此時胡惟庸攜帶補藥前來探望病情。劉基吃了胡惟庸拿來的藥後，頓時感到有如拳頭大小的石頭般的硬物堵塞在胸口。劉基又利用空閑時間把這件事奏明了朱元璋，朱元璋依舊不過問。又過了三個月，病情更加惡化。朱元璋派人前去問候劉基，得知他已不能起床了，便讓他乘坐傳送公文的船返回青田家鄉。不久後，一代絕世奇才就這樣去世了。