漢高帝五年五月，在洛陽婁敬提議將都城定為關中遭到了群臣的反對，高帝對於這個建議詢問了張良，張良對此發表了一番高論，對婁敬的意見的表示讚同，於是高帝就讚同把關中作為都城。
張良隨從高帝的車駕一道西行，然而自從這次入函穀關後，他便以身體多病為理由，自此從政壇上引退，學習道家那一套養生的方法，呼吸俯仰，屈伸手足，以此謀求血氣充足，身體輕舉，增進健康。同時還采取“辟穀”的方式，不吃食物而服用藥物，以此養生。到達關中後，張良有一年多的時間閉門不出，也不接待賓客。因而，張良建議依婁敬之言定都關中，便成了他一生中告別政壇的最後一次獻策。
至於封地，高帝在滅亡項羽後，曾使令他在齊地自己選擇三萬戶做為食邑，張良辭謝說：“我起兵於下邳（今江蘇睢寧西北），與皇上相識於留（今江蘇沛縣東南），這是上天把我交給陛下。陛下采用我的計策，幸而時常料中，我願受封於留縣就足夠了，三萬戶實不敢當。”
高帝果然封張良為留侯，與蕭何、曹參同時得到封賞。
張良於功成名就之後引退，在於他深信“飛鳥盡，良弓藏；狡兔死，走狗烹；敵國破，謀臣亡”這一哲理。這也是他作為一名謀士，不僅能為劉邦謀劃奪取天下，也能為自己謀求安身，不愧為是一位真正的謀士。
張良隱退後，他也曾受命於高帝，與韓信一道整理各家兵書；在易立太子問題上他被呂澤所迫而獻策，建議招致“商山四皓”；高帝征討陳豨時，他曾隨軍前往，獻計於馬邑（今山西朔縣）城下；高帝東征黥布時，他相送於郊外霸上，勸告高帝“無與楚人爭鋒”，“令太子為將軍，監關中兵”，謀高而意重。但總的說來，張良在漢帝國建立後，他是從政壇上引退下來了。
據《史記，留侯世家》所載，自蕭何被立為相國後，張良曾與漢高帝閑談天下之事，涉及問題很多，因為與天下興亡無關，《史記》未予記載，但卻記錄下了張良的一段自我表白：
“我家世代為韓相，待到秦軍滅亡韓國，我不愛惜萬金家財，破產謀求勇士為韓國報仇，致使天下震動（指博浪沙行刺未遂，秦始皇下令天下大搜捕十日）。如今又以三寸舌為帝王軍師，封萬戶，位於列侯，這是布衣百姓所能得到的最高地位，對於我張良來說，可謂心滿而意足了。甘願從此拋棄人間的事情，想要隨從赤鬆子（傳說中的仙人）遨遊去了。”
漢高帝死後，呂後為了感激張良在勸諫改立太子一事中的恩德，強迫張良放棄“辟穀”，並說道：“人生於世間，猶如白駒過隙，刹那間便成過去，何必如此自討苦吃。”
在呂後的一片盛情和強迫之下，張良不得已又恢複食用穀物了。
8年過後，張良病死，兒子張不疑嗣留侯爵位。
據《史記》所載，當年在下邳橋上授給張良《太公兵法》的那位老人曾告訴張良：“十三年過後見到濟北穀城山下的黃石，便是我的化身。”13年過後，張良隨從高祖征戰，路過濟北，果然見到穀城山下的黃石，便將黃石取回作為聖物供奉起來，按時祭祀。死後，黃石也一同安葬。後人到墓上祭祀張良時，也同時祭祀黃石。
司馬遷於《留侯世家》評論說：
“學者大多認為沒有鬼神，然而卻承認有怪物，像留侯所遇到的老人授給他兵書，也算是一件令人奇怪的事了。高帝曾多次處於困境，而留侯常在這種時候為他建功，難道可以說這不是天意嗎？皇上稱‘夫運籌帷帳之中，決勝千裏外，吾不如子房。’我以為他這個人一定是身材魁梧、相貌非凡。然而看到他的畫象，容貌卻像位婦人美女。無怪乎孔子說：‘用相貌取人，我失誤於子羽。’留侯也是這樣吧。”