使者向胡大海說明朱元璋的意思。胡大海感慨地說：
“我們這些出生入死的武將還不如這些老夫子。”胡大海又派了員副將第三次請劉伯溫下山。
幾天後副將回來了，說道：“我一去他就封我的嘴，說在山上蓋了幾間茅屋，開了幾畝薄地，已準備終老山林了。”
這時剛到任的處州總製孫炎自告奮勇地說，讓他給劉伯溫寫一封信，一定能把他請下山，胡大海派人送去，這樣他們第四次請劉伯溫出山。
孫炎在信中首先對劉伯溫施之以威。說元帥大兵壓境，如不願下山，就是與朱元璋為敵，結果是玉石俱焚。
然後結之以恩，重申元帥的承諾：既往不咎，來去自由。
合則留下，元帥委以重任，不合則離去，退可保全家性命，進可享榮華富貴，何樂而不為？劉伯溫見形勢如此，不出不行，況且自己也想有一番作為，於是決定出山。
至正二十年，劉伯溫跟隨使者來到了應天，朱元璋立即召見。朱元璋傾心相待，十分誠懇，使劉伯溫非常感動。他覺得朱元璋雖然出身平民，但胸懷大誌，是一位值得追隨的明主。
之後，他把自己深思熟慮的治國平天下的十八條方略獻給了朱元璋。劉伯溫詳盡分析了全國形勢，提出了一整套對策。
從此，朱元璋對他更加尊重，派人專門為劉伯溫在應天修建了府第，命名為禮賢館，總是尊稱他為老先生，還把他比作是楚漢戰爭中的張良。
劉伯溫不愧是當時的奇才。他知識淵博，有膽有識。
參與機密後，屢獻奇策，很快成為朱元璋智囊中的核心人物，在明王朝建立過程中立下了汗馬功勞。
明朝建立後，劉伯溫被委以負責糾察百官、主管司法的禦史中丞的重任。
朱元璋登基以來，猜忌心越來越大。他精力過人，權力欲極強，不能容忍有人對皇權的怠慢。朱元璋認為丞相李善長居功自傲，想拿他開刀，他征詢劉伯溫的意見。
劉伯溫說：“李善長是建國的功臣，又善於處理人際關係。”
朱元璋說：“他幾次加害於你，你還為他說話？”
劉伯溫回答說：“他與我是私人關係。換丞相就如同房子換柱子，先找到柱子才能換。但目前沒有人能取代他，不宜換。”
朱元璋問他：“楊憲、汪廣詳、胡惟庸不是棟梁之材嗎？”
劉伯溫回答道：“楊憲雖有相才，但器量不大。人們常說‘宰相肚裏能撐船’，他做不到。”
朱元璋又問：“汪廣詳如何？”
劉伯溫答道：“汪廣詳心地狹隘，比楊憲有過之而無不及。”
朱元璋接著又問：“胡惟庸怎麼樣？”
劉伯溫說：“當丞相好比是皇上駕車的馭手，恐怕胡惟庸架不好車，還會損壞車子呢。”
朱元璋又說道：“還是老先生自己出馬吧！”
劉伯溫誠懇地說：“臣下性情剛烈，脾氣急躁，身體又差，無法承擔丞相的重任，也不具備相才。請皇上放心，人才一定會有的。”
從這次談話中，劉伯溫知道朱元璋不但對丞相李善長不放心，而且對其他很多功臣都心存戒備，包括自己。劉伯溫深知伴君如伴虎，與帝王共患難易，共富貴難。另外，劉伯溫性格中剛直的一麵也使他得罪了不少人，一旦有人惡意中傷，引起朱元璋的疑心，麻煩就出現了。盡管朱元璋現在對他很信任，但他的猜忌心越來越重，難保將來不猜忌自己。應該見好就收，激流勇退。
麵對猜忌，敏銳的劉伯溫看出了其中的利害，經過一番深思熟慮，劉伯溫告老還鄉。
他卸職之後，慕名前來拜訪的人絡繹不絕，劉伯溫對來訪的親友鄉鄰，總是非常熱情，以禮相待，但從不和他們談論過去的功勞或者朝廷的政治與他的妙計奇謀。
有一次，一位朋友來看劉伯溫，提到朱元璋專用淮人以及胡惟庸排除異己之事，劉伯溫不等朋友說完，就大談起垂釣的樂趣與技巧。這位朋友非常吃驚，逢人便講劉伯溫看破紅塵了。劉伯溫就要給人留下這樣的印象，這也是他的高明精細之處。
劉伯溫也極力避免與現職官員交往。家鄉的青田縣令幾次提出要求看他，都被他婉拒了。後來，縣令堅持要來，劉伯溫就躲進山裏。
這位縣令非常崇拜劉伯溫，不見一麵總不甘心。有一天，縣令喬裝成一位鄉民，身穿農民的服裝，頭戴竹笠，隻身一人進山。他來到劉伯溫的小屋前，看見劉伯溫正在洗腳，劉伯溫見有鄉鄰來訪，忙穿起鞋子，把客人讓進屋，聽說客人還未吃飯，忙端出家常飯，殷勤招待。
吃飯時，劉伯溫請教來人的姓名，縣令連忙離座，如實相告：“本人是青田縣小令，特來拜見先生，幾次求見，未蒙應允，隻好改裝前來，望先生恕罪。”
劉伯溫忙站起來，向縣令作了一揖，說自己是縣令治下的一個普通百姓，不敢勞父母官的大駕，多次表示了誠惶誠恐後，轉身出門了，把縣令一人留在飯桌旁。