洪武元年，58歲的劉基成為大明朝的開國元勳。此時他心裏想了很多，一股莫可名狀的惆悵控製了他的情緒，他的思緒就像脫韁的野馬，跑了很遠。隨聖上征戰十餘年，憑借自己的學識，為其打下了江山。然而，劉基熟悉朱元璋也熟悉曆史。他知道，朱元璋這個人猜忌多疑，剛愎自用，區別是非、判斷善惡的標準，往往是他個人的意誌，他講君臣關係時可以說是冠冕堂皇，而實際上他對部下時時不忘嚴加防範，怕他們奪取自己的權位。劉基也明白朱元璋不是唐太宗那樣的聖主，沒有他那樣的度量，唐太宗不僅能和功臣共患難，更能同富貴，為了保全功臣，唐太宗可以說付出了很多，而且和功臣們也可以說得上是推心置腹。朱元璋卻不是這樣的人，他隻可以共患難而不可以同富貴。劉基更熟悉中國的曆史，他想到了春秋越國的大夫文種，幫助勾踐滅亡吳國，可是成功後勾踐卻把他殺害。他知道朱元璋就是越王勾踐一類的君主。想到這，範蠡映入劉基的腦海，他在幫助勾踐滅吳後，浮海泛舟做了一個商人。劉基決定學範蠡，托辭致仕，回歸故土。
洪武元年七月，朱元璋從汴梁回到應天，正當各地捷報頻頻傳到京都，君臣上下沉浸在一片歡樂喜慶氣氛之中的時候，劉基突然提出了告老還鄉的請求。對此，朱元璋感到驚訝不已。劉基的這個決定，確實使朱元璋和同僚們感到突然和費解。自從出山投奔朱元璋，到削平群雄而建立大明王朝，劉基以他第一流謀士的身份，十數年來跟隨朱元璋南征北戰，付出了全部的心血，作出了巨大的貢獻。本應該在大功告成之後，以功臣自居，封侯賜爵，這才是情理之中，然而他卻沒這樣做，這正是他超乎常人的獨特之處。“飛鳥盡，良弓藏；敵國破，謀臣亡”的道理，他比誰都懂。
就在朱元璋回到應天後不久，因為李斌的事情，李善長彈劾劉基擅權攬政。再加上此時劉基對朱元璋建都鳳陽的事予以諫阻，讓朱元璋很不滿意，劉基決定就此告老還鄉。從曆史上功臣被殺的先例看，劉基的急流勇退是正確的。他完成了張良的功業，此時他也要學張良。洪武元年八月，朱元璋準了劉基的請求，讓他告老還鄉。
劉基回家後僅過了幾個月，朱元璋又親自下詔召劉基回京。無奈之下，劉基回到應天。回來後，朱元璋對劉基可謂是恩寵備至。因為劉基夫人剛剛去世，朱元璋就賜一名宮女給他做侍妾，然後追封劉基的先人。同時恢複了他禦史中丞、太史令的職務，並且加授弘文館學士的頭銜，以示榮寵。
洪武三年（1370年）十一月初，徐達和李文忠的北伐大軍班師回京。緊接著，朱元璋便大封功臣。封公者有六個人，封侯的有二十八個人，所封公侯中竟然沒有劉基。這是為什麼呢？這還是要從劉基的為人說起，劉基明白位越高則危險越大。當年張良為劉邦開創大漢朝立下不世之功，劉邦要在富庶的齊國為他選三萬戶作為封賞，張良固辭，隻封了留侯而已，這是張良的全身而退之道。劉基是朱元璋的張良，他當然在封賞上也要學張良。朱元璋覺得如果不封賞劉基實在有點對不起他，因此，朱元璋下詔封劉基為誠意伯，賜鐵券，這比起李善長來差遠了。雖然劉基自己並不在乎這些，但還是從這件事上得出結論，朱元璋不再像從前那樣信任和器重自己了，既然這樣，何不再回到家鄉，去過安靜而又與世無爭的生活呢？
洪武三年（1370年），劉基被授為弘文館學士，十一月，朱元璋大封功臣，冊封劉基為開國翊運守正文臣、資善大夫、上護軍、誠意伯。次年即洪武四年（1371年）正月，劉基提出了告老還鄉的請求，朱元璋終於同意了，劉基很是高興。無論如何，朱元璋總算滿足了劉基這位勳臣最後一點小小的願望，這對於襟懷坦蕩、淡泊名利的劉基來說就足夠了。這年四月，劉基安全回到家中，從此便開始了隱居生活。他遠離官場，擺脫了爾虞我詐的煩擾，如釋重負。這也正是劉基在功成之後所渴望得到的。他終於回到了自己的故鄉，看著親人，看著家鄉的山山水水、一草一木，劉基感到從未有過的輕鬆和愉快。