公元1368年，明太祖在南京登基稱帝，正式建立大明皇朝，改元"洪武"。為朱氏最後平定天下、開創朱明皇朝立下了汗馬功勞的劉基，作為開國元勳之一，被任命為禦史中丞兼太史令。為了表彰劉伯溫的特殊貢獻和巨大功勳，明太祖還下詔免加劉伯溫家鄉青田縣的租稅。這是處州地區惟一不加稅的一個縣。不久又追封劉伯溫的祖父、父親為永喜郡公。
洪武三年(1370年)，劉伯溫被任命為弘文館學士，受“開國翊運守正文臣資善大夫上護軍”稱號，賜封誠意伯，食祿241石。至此，劉伯溫本人的事業和青田劉氏家族的發展，都如日中天，達到了最輝煌的鼎盛時期。
作為一代軍師和智者，劉伯溫料事如神，他深知自己平時疾惡如仇，得罪了許多同僚和權貴，同時也深知“伴君如伴虎”的道理。因此，他在功成名就之後，毅然選擇激流勇退，於洪武四年(1371年)主動辭去一切職務，告老還鄉，回青田隱居起來。
劉伯溫在青田過了2年的隱居生活，本來希望遠離世間是非爭奪。但是，他的智慧和才能實在太高，他的名聲實在太大了，他甚至被民間百姓渲染成了一位活神仙般的人物，這就無法避免政敵的嫉妒和皇帝的猜疑。洪武六年(1373年)，劉伯溫的政敵胡惟庸當了左丞相，指使別人誣告劉伯溫，說他想霸占一塊名叫“茗洋”的“有王氣”的土地做自己的墳墓，圖謀不軌。早就對劉伯溫放心不下的明太祖，聽到誣告後果然剝奪了劉伯溫的封祿。劉伯溫非常惶恐，於是親自上南京向明太祖謝罪，並留在南京不敢回來。後來，胡惟庸升任右丞相胡惟庸天下第一大奸臣可與秦燴相提並論，劉伯溫更加憂慮，終於一病不起。
洪武八年(1375年)，有病在身的劉伯溫由皇帝朱元瘴所派使者護送回家，不久在家憂憤而死，終年65歲。後來被諡為"文成"。劉伯溫在南京時，胡惟庸曾派太醫為劉伯溫診病送藥，但劉伯溫吃了他的藥後，病情加劇。因此，當時人們懷疑劉伯溫是胡惟庸下毒致死。
劉伯溫不但是一位謀略大師，也是一位著名的學者和文人，他的著作很多，流傳於世的有《鬱離子》10卷和《誠意伯文集》20卷。其中。代表作《鬱離子》一書在中國思想上和文學史上都占有重要地位。
劉伯溫死後，葬於青田武陽夏山。據說，劉伯溫死前曾預言胡惟庸必敗，到時明太祖會為自己平反昭雪，他還特留下一封密奏給兒子，要他在日後明太祖想起自己的時候再上奏。5年後，胡惟庸果然垮台。又10年後，劉伯溫果然被平反。明太祖還賜給劉氏家族金書鐵券，特批劉氏成員可憑此免一次死罪。