一時間你言我語爭執不休，多數人還是反對遷都的。
高祖這時瞼色陰沉，聽著眾人亂糟糟的一片議論之聲，不知該如何是好？好容易這群臣才稍稍平靜下來。
高祖便說：“你等自可先回去再考慮考慮，待過些日子我們再商議這件事吧。”
群臣一聽，隻得先退出殿去。高祖也起駕回宮休息，他心中仍在想道：
“看來光聽群臣的意見，恐怕沒多少人願意遷都的，不如先命人去召那張良來朝，他足智多謀，遇事想得周到，和他商量一下，看他如何考慮，再做決定才是。
這天清晨，從洛陽通往古韓國的大道上，一騎快馬飛奔而下，馬蹄之聲響徹四周。這馬上之人正是奉高祖之命前去召張良入朝議事的，人忽馬快。沒多久便來到一僻靜的小村莊，此人下馬後向村中最大的一座院舍走去。這家一老奴正在打掃院落，一見有一官服打扮的人牽馬走來，便上前問道：“不知先生遠道而來，是找誰呀？”
那人忙說：“我是當今天子派來找張良的官人。”老奴一聽趕忙說：“這便是張良的家。老爺正在書房看書，我先進去通告一聲。你暫且隨我進來吧。”
兩個進院後，由老奴先到書房通告了一聲，張良出來一看確是宮中的人，便問：“不知萬歲派你來找我何事？”
那官人道：“萬歲命我召你入宮進見，麵議國事，切勿遲疑。”
張良忙說：“那好，你先休息一下，待我收拾一下，就隨你回去。”
張良說罷命人引那宮人下去，自己回到書房中，開始收拾所帶的東西，腦中不禁回想起自己辭官臨行前的情況。
那是高祖剛定都建國，一切還都剛開始，這時張良來到宮中對高祖說：“我已幫助您完成了一統天下的大業，現在我要向你告請辭職回鄉下去，不知萬歲可否許可？”
高祖一聽怎能同意，但看張良已經決定，不再有改變之意，也隻好說：
“先生是一賢能之士，佐我漢成，立有汗馬功勞，你可是我的得力之助，我怎舍得你離去呢？不過你意已決，我自不去勉強，許你回鄉，但若朝中有事，召你入內，萬望你能為天下利益，有召必來呀！”
高祖說罷便又命人拿來千兩黃金，要送給張良，但張良堅決不收，之後張良回到家中，不是讀書靜思，就是學習導引吐納等道家之術，到後來竟不怎麼吃穀物了，並且終日不出家門半步，謝絕一切人來拜訪。還曾經對家人們說：
“我家世代是韓國的大臣，佐韓國有功，可韓國被秦滅掉了，所以後來我就下決心要誓死為韓國報仇，不惜重金甚至性命，現在暴秦已滅亡了，漢室崛起。我在這期間也不過是憑借自己的三寸不爛之舌，為漢帝出了些力，自己想想也心滿意足了，所以自願引退，從此不問世事，隻要能像仙人般地過著無憂無慮的日子，也就足以使我後半生過得很順心了。”
想到這些，張良又不想再入朝，可又一想臨行前已答應了高祖，怎能失信呢？於是便趕緊隨命進見。
高祖見張良，就把婁敬的話和眾臣的建議都說了一遍，張良聽罷沉吟了一會兒，說：
“洛陽雖有險阻可依靠，但中間的地方狹小，不過數百裏的平原，田地又很貧瘠，每年收成不好，如果真是四麵受敵的話，恐怕這裏究竟不是兵家用武之地呀！而關中左有崤山關，右有隴蜀地，三麵據險處，一麵東臨諸侯，當諸侯安定無事時，可由渭河調運糧食，向京師供給，萬一諸侯有動亂變故，順河流而下，征討並不費力，運輸糧草人馬都很方便。過去人們所說的金城千裏，也不過如此吧，看來關中確實是塊寶地，可遷都關中。婁敬所說的，很有見識，請陛下再考慮一下，再做決定也好！”
高祖這時說：“先生既然認為可以遷都，那我就依了你的話，遷都關中。”
於是傳命群臣：“我已決定遷都關中，不許再有異議。”
並找人選良辰擇吉日，收拾行裝，不得遲延，立即做好準備。群臣這時再有意見，一看高祖已下了聖旨，就不敢多說別的，隻好從命，這下整個洛陽城忙亂起來，大家都忙著收拾東西，整整好幾天，到了遷都之日，高祖便乘龍輦，眾侍衛排出儀仗，擺好禦駕，起程上路。後麵是太公、太子後妃等聲勢浩大，前呼後擁。再後麵才是百官文武，坐轎乘馬，家人隨從。好不熱鬧，統統向西進發。
走了好幾天，好容易到了櫟陽，丞相蕭何前來接駕，高祖一見蕭何便談到遷都一事的前後經過。
蕭何說：“秦關雄偉堅固，地形最好，隻是自從項羽入關以後，一把火燒了鹹陽的所有宮殿，房屋沒剩幾間好的，全都是殘缺不全的。陛下最好先在櫟陽住些日子，等到我派人去修複了宮殿，再遷到那裏也不遲呀。”
高祖一聽便說：“丞相所言極是，你當速速前去催促宮室的修理，讓他們快些完工，我先在這裏住上幾日，等你的消息。”
蕭何便西入鹹陽，督修宮室，而高祖就在櫟陽先住了下來。