走著走著，遠處的山陽水陰之間，露出了帝國皇帝離宮別館的殿影。秦自建國以來，西起雍都（今陝西鳳翔），東至潼關黃河，“東西八百裏，離宮別館相望屬”，所謂“關中計宮三百”，說明秦國多年來在渭水兩岸所先後建造的龐大宮殿群，堪稱數不勝數。風格各異的秦宮，夕陽映照，點綴在青山綠水之間，使劉邦神往而心花怒放。這時，劉邦才知道在家鄉時常聽老人們所講述的天宮，其實不是在天上，而是在人間，就在他的視野之內。
劉邦同他所帶領的民夫們全都被征途上的景觀所感染了，一個個指指點點，歡聲笑語，旅途的疲勞被驅散得無影無蹤了。人們此刻的心情，如果說有什麼不同的話，那便是民夫們更感興趣的是山坡樹上紅透了的柿子，是田間的茅屋農舍。而劉邦的視線，卻始終不從此處彼處的宮殿上方移開。他是在想：建造這麼多的宮殿，有一處不就夠用了嗎？要是自己，選擇一個最好的去處，建造一個最好的宮殿，也就夠一生一世享用了，何必建造那麼多！馳騁的想象，使劉邦忘記了自己的身份。最終他無限感慨，山間的離宮，不也是人住的嗎？他暗暗自語：何時能住上這種別館，也不枉活一世！
劉邦所帶領的民夫，報到地點是鹹陽城東南的阿房宮工地，距鹹陽尚有幾十裏的路程。進入工地後，民夫便在監管下投入了緊張而繁重的勞作，劉邦則借著職務上的方便，有機會瞻仰了雄偉的鹹陽城牆和城樓，遊覽了城中繁華的街市，特別是有幸目睹了秦始皇車駕的出行。
秦始皇車駕出行，一般都是戒備森嚴，禁止老百姓觀看。但偶爾也有破例的時候，即允許路旁的百姓觀看，任人瞻仰，借以在平民百姓麵前顯現他的神威。史書記載中的“縱觀”，即是任人觀看的意思。劉邦有幸趕上這一盛大場麵，當時，警戒線之外，路旁人山人海，劉邦被人流擁至前沿，他站穩了腳跟，得以觀看了皇帝車隊在他麵前駛過的全部情景：
車隊前麵的是類似兵車性質的所謂“高車”，每車駕清一色的4匹高頭大馬，車上筆直地站立著高大魁梧的衛士，手持兵器，身著盔甲，目光直視，威風凜凜。兵車之後是副車，即所謂“安車”，車上橢圓形車蓋，車箱分前後二室，外表裝飾華麗，前麵坐著謙恭謹慎的駕車禦官，也是每車駕清一色的4匹高頭大馬。副車過後是秦始皇乘坐的更為豪華壯麗的所謂“金根車”，車上駕6匹清一色的高頭大馬。金根車過後，又有副車、兵車駛過。整個車隊浩浩蕩蕩地在劉邦眼前駛過，他感到眼花繚亂，也說不上有多少車駕駛過，行進了多少時間。
據文獻記載，天子車駕出行，有大駕、法駕、小駕之分，除皇帝乘坐的金根車、五時副車之外，大駕有屬車（包括兵車在內）81乘，法駕有屬車36乘，小駕有屬車9乘。秦始皇此次車駕出行，不是出函穀關巡行帝國的東土，當然不會配備有81乘屬車的“大駕”；但他恩準百姓“縱觀”，用配備9乘屬車的“小駕”又不足以在百姓麵前顯現皇帝的神威；因而他下令配備有36乘屬車的“法駕”。由金根車、五時副車、36乘屬車和儀仗所組成的車隊，可謂是浩浩蕩蕩了。
當秦始皇的車駕從百姓麵前駛過的時候，警戒線隨即撤除，人群中頓時鼎沸起來。此時劉邦才如夢方醒，望著遠去的車隊，他情不自禁地感歎道：大丈夫當如此也！
劉邦也弄不明白，自己怎麼會在大庭廣眾麵前冒出了這樣一句犯有殺頭大罪的狂言。好在當時離散的觀眾人聲沸騰，周圍也沒有什麼人聽全他這句話，但劉邦卻對自己一字一字吐出的這7個字，聽得清清楚楚。
司馬遷作《史記》時，於《高祖本紀》以凝練的文筆生動地記載了這則故事：
高祖常徭鹹陽。縱觀，觀秦皇帝。喟然太息曰：“嗟呼！大丈夫當如此也。”
這次縱觀皇帝車駕出行，劉邦也有小小的遺憾，即沒有看到始皇帝的“龍顏”。秦始皇當時並沒拉開車窗（據秦始皇陵出土的副車實物，車的後室前闌的上方，有一簾狀掀窗，左右兩側各開一個推拉式的小窗。三副窗板均鏤孔鑄成菱花形，閉窗後仍可隱約看到窗外景物的大致狀況，但外邊卻看不見窗內的情況，起到了今日紗窗的作用），他不想讓百姓看到他的龍顏，這不僅因為他有時微服私訪於街頭民間，以保自身的安全，也是為了不失自己的尊貴；但在有菱花形的窗內，秦始皇可以看到窗外百姓沿途瞻仰他的盛況。劉邦雖然沒有目睹秦始皇的龍顏，但他腦海中所想象的皇帝尊容，肯定會比實際要神秘與高大得多，因而對他具有長久的誘惑力。
第二年的秋天，沛縣又下一批來鹹陽服徭役的民夫到達阿房宮工地，劉邦這才帶領去年秋天來到這裏的民夫啟程返回家鄉。
家鄉畢竟是家鄉，親人畢竟是親人。這裏，且不說劉邦同父母、朋友、妻子如何敘一年多來的離別之情，也不說劉邦與蕭何、曹參在飲酒間談及他在關中、鹹陽的觀感，以及皇帝車駕儀仗和自己的口出狂言之類，而是有必要指出如下的事實：劉邦在關中、鹹陽神往離宮別館和縱觀皇帝車駕前前後後的那些日子，他早已把家鄉的父母、朋友、妻子兒女忘得一幹二淨，仿佛自己成了另外一個世界的主人，同往昔斷絕了一切。因而，雖然他已回到家鄉的親友身邊，卻仍對關中、鹹陽不能忘懷，時時神往。
劉邦在關中忘卻家鄉，在家鄉又神往關中，這就決定了他在第一次去鹹陽之後，又多次隔年帶領服徭役的民夫去鹹陽，這就是《本紀》所說的“高祖常徭鹹陽”。
劉邦在沛縣生活了40多年，他除了熟悉終年勞苦的農夫之外，所見到過的人物上至郡縣守令，下至守令的屬吏，除了蕭、曹之外，他一概瞧不起。
然而瞧不起守令及其屬吏又算得了什麼？“大誌”又從何談起？他多次帶領民夫去關中，走鹹陽，劉邦才知道人世間有多大，見到了他從未見到過的一切。沛縣是劉邦生活了40多年的現實世界，關中與鹹陽也是現實世界，但這個現實世界反映到劉邦的頭腦中，卻是屬於他的理想王國。在這個理想王國中，當然要有士農工商四民，人人安居樂業，但國王則是他劉邦，他享有關中的三百餘處離宮別館，擁有秦皇帝那樣的車駕儀仗，手下有呼之即來的文武百宮，後宮有數不清的嬪妃美人……
從劉邦的經曆來看，“常徭鹹陽”是他人生的轉折點。他多次來到關中，實際上是在接受“洗禮”，洗去身上的世俗習氣，終於找到了大誌的終極目標。從此，他既在物質上生活於現實世界之中，又在精神上向往另一個理想的世界，從而形成了他的雙重人格。在後來，秦末農民大起義的洪流中可謂英雄豪傑輩出，劉邦不過是其中的一員。然而，那些諸多叱吒風雲的人物雖然是現實世界裏的英雄豪傑，論指揮作戰的本領和擁有的勢力，超過劉邦者大有人在，但誰也沒有像劉邦這樣曾多次到關中接受洗禮，沒有像劉邦那樣在頭腦中多年追求著屬於他的理想王國，說穿了，誰都沒有在秦始皇在世時便有“大丈夫當如此也”的大誌，也沒有在起義之初便想當皇帝的雄心和規劃，因而一個個敗在劉邦的手下。試想，劉邦如不是“常徭鹹陽”並樹立了“大丈夫當如此”的大誌，他憑什麼能在秦末亂世，於各路諸侯之中貴為皇帝？
劉邦熱衷於“常徭鹹陽”，樂此不疲，好友蕭何不止一次地在心中思索再三，擔心萬一有什麼閃失。他了解劉邦，終歸還是未加勸止，總是支持他帶隊前往。但最後這一次卻與以往有所不同：這次由他帶領的不是服徭役的農家子弟，而是身帶刑具的刑徒；服役的地點和所從事的苦役，不是在鹹陽城東南造阿房宮，而是在驪山（今陝西臨潼縣東南）腳下修秦始皇陵。至於時間已是始皇帝病死沙丘的前夕，帝國所麵臨的形勢，已不是天下太平，而是“群盜滿山”；普天之下，“亡逃山林”者已是數不勝數了。
在山雨欲來風滿樓的形勢下，縣令點名命劉邦帶領刑徒去驪山修墓，出發前劉邦便預感到氣氛與往常不同，前景不妙。然而他多年來自告奮勇地“常徭鹹陽”，人們又無不讚揚他帶隊有方，他此次怎好意思借故推辭，心中確實有難言之處。