張良這麼說讓劉邦沒想到，他本以為人來攘攘，皆為利往，我劉邦雖沒給你張良應得的榮譽，但我在物質上不讓你吃虧。這是劉邦擺平世事，安撫部下的一貫做法，沒想到了張良這裏卻失靈了。他不信世上真有這樣清高的人，堅持對張良說：“莫非子房嫌不足乎？”
“陛下你想哪去了。我家五世在韓國為丞相，也曾頗有家財。秦滅韓國後，我把所有的家財都散盡了，一心想做的就是為韓國報仇，消滅秦國。我和你相遇後，三走三來，既視陛下為知音，也是為了實現我反秦複韓的抱負。我要是為了財富，完全可以不這樣做，隻守著我家原有的東西就足夠了。現在天下歸於一統，韓國故主已不複存在，恢複韓國是不可能了，但我反對秦國的願望已經實現，這讓我已經很滿足。除此我確實沒有別的需求。”張良雖然這樣說，實際他對劉邦在論功行賞上搞小圈子還是有些不滿，意思是我不圖你的什麼，你也不能太不把我當回事啊。
劉邦看張良講的這些話很中肯，也不好再說別的什麼了。但他內心總還有些不踏實，所以有些事就遲遲沒有定下來。比如丞相這職位的任命，就一直在觀望。用張良吧，他不放心，認為他智慧太高，要讓他掌了朝中大權，那豈不要把皇帝架空。但要用蕭何，又怕張良不服，朝中那麼多大臣也不會服氣。那就放著吧，反正我叫你們辦事你們還得辦。
張良推掉了劉邦封他做齊侯的主張，劉邦真的就封他為留侯。漢朝遷都長安後，他就基本不大問事了，托病以避。劉邦為朝中的事日日忙得不可開交，也顧不得張良的感受了。
劉邦在創業的過程中，為了搞統一戰線，吸引一些有勢力的軍閥加入反對項羽的行列中，封了不少異姓王。登上大位以後，又封了不少劉姓王。實際上這是不符合時代潮流的。這些藩王都有自己的一套班子，都有自己的軍隊，所以漢朝建立不久，就不時傳來這個王要反，那個王又侵略別的諸侯的消息。劉邦聽到這個消息，首先想到異姓王都不可靠，應早日鏟除。隨後用不到幾年的時間，把最有可能威脅他統治的異姓王都消滅了，其中依次有彭越、韓信、英布等。
這些大功臣的先後被殺，讓張良不寒而栗，深感韓信遭遇不測的時候說的話是多麼到位。他反複念叨著：“狡兔死，走狗烹；高鳥盡，良弓藏；敵國破，謀臣亡。”念著，念著，自己念出一身冷汗，感到不能再在長安呆了，伴君如伴虎啊。曆來的君王都是隻可與其共患難，不可與其共安樂，這劉邦也不會例外，從他對韓信等一係列功臣的處理來看，何嚐有半點手軟！為了他們劉家的天下，這些位及極尊的人可是什麼事都幹出來的。
劉邦遲遲不立相國，這點心思張良早就看透了，他一方麵身體確實有些小病，一方麵也有些為難劉邦的意思，意思我看你怎麼辦。兩個人都不去捅破這層窗戶紙，就這麼僵持了兩年多。時間一長，張良有些不好意思了，一是覺得劉邦畢竟是自己的好朋友，多年來一直對自己很敬重，二是怕別人認為他真的想當這個破丞相似的，實際上他並不想幹。與其這樣，不如我主動來捅破這層紙，倒顯得自己豁達，那樣和劉邦以後還能繼續友好相處下去。想到這點上，張良主動找劉邦做了一次交心，說：“韓國被秦國滅亡後，我就是一介布衣。僅憑三寸不爛之舌，得為帝師，被封為萬戶侯，對此，我深感陛下的知遇知恩。漢朝立國幾年了，而丞相一位一直空著，這讓陛下太辛苦了。我身體一直很差，很難擔此重任。蕭何擅長政務，是最合適的人選，希望陛下盡快起用他。有了丞相，朝庭之事百姓之事就有人具體辦理了，陛下也可輕鬆些。”
“子房，你真是我的良師益友，你這樣處處為我考慮，讓我怎麼感謝你呢？我聽從你的話，就叫那蕭何做丞相吧。”劉邦一直以來的大難題瞬間就這樣化解了。
“理應如此，我祝賀陛下這丞相之位終於有了合適的人選。另外，我今天來，也是向你辭行，從此拋開人間事，從赤鬆子遊耳。”張良說。
“你是一個有仙風道骨的人，不似我等凡夫俗子，拋不開塵世瑣事。人各有誌，我祝你早日修成正果吧。”劉邦說。
張良就這樣離開了朝庭，到深山老林裏修仙去了，走時心裏有些傷感，也有一絲留戀。在走之前，他還幫呂雉辦了一件大事，出主意讓她保住了兒子的太子位。但正因為走開了，才使張良得到了善終，並以病體之軀，在劉邦死後多活了六年。