此後數日無事。這日，裨將虞將軍入宮報高祖道：“門外有人自稱齊人婁敬，求見陛下。”高祖道：“此人素有賢名，早欲見之。”遂令傳入。婁敬入內拜見。高祖視其人衣裳襤褸，形容放縱，先有三分不快。張良在側，觀其顏色，已知其心，便暗謂高祖道：“山野名士，多恃才放曠，不拘小節，請大王勿以外表取人。”高祖聞其言，登時醒悟，於是改容相見，設宴招待。酒過數巡，高祖問道：“先生遠道而來，必有賜教，敬請明言。”婁敬道：“山野草莽，何言賜教。隻是有一事不明，特來請問陛下。”高祖道：“盡管說來。”婁敬道：“陛下以洛陽為都，是否欲與周室比隆哉？”高祖以笑默許。婁敬道：“臣以為不可也！陛下取天下與周不同。周乃後稷之後，得唐堯之封於邰，積德累善十餘世。後周太王因屢受狄人擾亂，遷往西岐，國人爭而歸之。及文王為西伯，斷虞、芮之爭，始受天命，呂望、伯夷自海濱來附。至武王伐紂，孟津之會，八百諸侯不期而至，遂滅殷朝。成王即位，周公之輩極力輔佐，因洛陽為天下之中，故營建為都，以使諸侯四方朝覲納貢，道路相若。有德者易以此治理天下，無德者則易以此亡失天下。凡居此者，欲令務以德致人，不欲以險阻守城，令後世驕奢以虐待民眾。周盛之時，天下和洽，四夷爭習其風，慕義懷德，附離而並事天子，不屯一卒為防，不遣一卒為戰，八方外夷、諸侯大國，莫不賓服，效其貢奉。及周室衰敗，分而為二，天下皆不朝周，而周不能製，非德薄所至，乃形勢弱也。今陛下起兵豐、沛，收三千軍卒，以之徑往，卷蜀、漢，定三秦，與項籍戰滎陽，大戰七十，小戰四十，使天下之民肝腦塗地，父子暴骸荒野，不可勝數，哭泣之聲不絕，傷夷者未起，而欲比成、康之時，臣竊以為不可。”高祖聞之，甚覺有理，遂問道：“以先生之見，如何處置？”婁敬道：“臣以為秦地披山帶河，四塞以為固守。如有急變，可以百萬之眾拒之。今秦有故資，土地肥沃，正所謂天府之國也。若陛下入關而建都，即使山東生亂，秦故地可全而有之。夫與人爭鬥，不扼其喉而擊其背，未能全勝。今陛下入關而都，以秦地為資，即扼天下之喉而擊其背也。”高祖聞之，不敢輕信，先安排婁敬住下，自招群臣而問之。
群臣多是山東人，聞外臣薦高祖以關中為都，皆爭言道：“周朝自定都洛陽，治天下數百年。而秦都關中，二世即亡，不祥也。洛陽東有成皋、滎陽，西有澠池、崤山，背靠黃河之險，其固足可自保。”眾人你一言，我一語，並沒有多少人認同婁敬之見。高祖心甚遲疑，不能決斷。巡視群臣，獨張良獨自沉吟不語，遂啟齒問：“子房以為如何？”張良稟道：“洛陽雖有此固，其中甚狹，不過數百裏，加之物產不豐，四麵受敵，此非用武之國。關中左有崤、函，右有隴、蜀，沃野千裏；南有巴、蜀之饒，北有胡、苑之利，阻三麵而固守，獨一麵東製諸侯。諸侯安定，以河、渭接天下之物，西給京師；諸侯有變，則順流而下，足可轉運軍糧。正如婁敬之說，此乃金城千裏，天府之國也！”高祖大悅，謂群臣道：“先言都秦地者，齊士婁敬也！婁者，即劉也！”主意已定，招婁敬至，賜其姓劉氏，拜為郎中，號奉春君。婁敬拜謝，即改姓名為劉敬。
高祖既已定心遷都關中，遂即日起駕入關。行至路中，遇四五小兒路上群戲，一兒歌道：“著青裙，入天門，揖王母，拜木公。”眾人聞之，皆莫解其意。高祖問張良，張良但笑不語。高祖固問，張良道：“此東王之玉童也。所謂金母者，即西天王母；木公者，東王公也。此二元尊，乃陰陽之父母，天地之本源，化生萬靈，育養群品。木公為男仙之主，金母為女仙之宗。長生飛化之士，升天之初，先覲金母，後謁木公，然後升三清，朝太上君矣。此歌乃玉童點化有緣之人也。”高祖聞之，以為戲言，一笑置之。
行至鹹陽，已至漢五年六月，擇壬辰日，改鹹陽為長安，定為漢都，大赦天下。時長安因秦滅遭劫，後雖然有所修複，然與秦朝興盛之時自是不能相比，丞相蕭何請再治未央宮以為皇帝寢院，高祖許之，蕭何分工加築。張良一路勞累，病臥床榻，高祖知他體弱多疾，親至府下探望。張良謂高祖道：“臣少時得黃石公之書，內有修生之道，臣閑時常習之，能煉氣絕力，輕身羽化。因與綺裏季、東園公、甪裏先生、夏黃公為雲霞之交。天下紛亂之時，臣以家世相韓之故，不受萬金之資，為韓報仇強秦，天下震動。後臣以三寸之舌為陛下出謀劃策，幸而成功，封萬戶，位列侯，此布衣之極位也，於人之願足矣。今天下既定，臣於陛下無益，願從赤鬆子而遊，不食五穀，閉門修煉，以得拜王公、謁金母。”高祖聞之，憶起當日所見，方知張良所說並非戲言，遂勸道：“神鬼之說，信則有，不信則無，先生何苦自當其罪？”張良道：“人各有誌，不可勉強，請陛下許臣盡此心願。”高祖素敬張良，不忍逆其本意，隻得許之。張良遂絕五穀，閉門不出。後文天祥有詩道：“博浪椎揮四海驚，虎狼雖暴已無秦。興劉滅項猶餘事，豈是蕭韓行輩人。”黎廷瑞有詩道：“早見滄海君，晚師黃石公。力士不得力，驅使芒碭龍。仁義以為椎，氣蓋百代雄。一擊函穀碎，再擊烏江空。從容一籌畢，全漢酬其功。何乃不自知，而以留見封。酂侯辱械係，淮陰歎藏弓。彼皆為人役，詎敢望此翁。辟穀豈其然，視世與穀同。可憐商山老，亦墮子術中。”