劉邦回到自己的營地之後，第一件事就是把左司馬曹無傷給殺了，而項羽這邊，雖然他也很後悔沒有好好把握機會除掉劉邦，所以對範增好好安慰，但是項羽心中始終沒有把流氓出身的劉邦放在心上，所以直接率領大軍從鴻門開進鹹陽，把秦國的宗室王族從拘留所裏提出來，統統綁赴法場，再打開府庫，將所有的珍寶金銀掠奪一空，還將後宮的美女經過一番細細挑選，排隊裝車，又將驪山秦始皇的墳墓挖開，挫骨揚灰。
項羽意猶未盡，還讓人在鹹陽宮放火，金碧輝煌的樓台殿閣被火舌吞噬著，烈焰直衝九霄，嗶嗶剝剝、轟轟隆隆的聲音，都能夠傳到數十裏之外。這場大火一燒就是三個月的時間，不但燒毀了秦始皇耗盡民力與天下財物所建造的阿房宮、宗廟，同時也連帶燒毀了不少民房，弄得許多百姓家破人亡，悲慘至極。
此外，鹹陽宮的大火，更是造成了學術界的一大損失。原來當年秦始皇焚書的時候，焚毀的隻是藏在民間的“禁書”，至於秦宮中所珍藏的各類珍貴圖書、典籍卻仍然完整保留著，而項羽不知道這些書籍的真正價值，所以就讓它們隨著宮室的大火，一起化為灰燼了。
大火熄滅了之後，放眼望去，全是一片狼藉的悲慘景象，滿目的瘡痍，房屋倒塌的倒塌，燒毀的燒毀。這時，範增極力勸告項羽留在關中，不要放棄這片土質肥沃、形勢險要的地方，但是項羽一看鹹陽宮都燒成這樣子了，滿地都是殘垣斷瓦，實在沒有興趣留下來，而且他在大功告成之後，忽然動起了還鄉的念頭，他覺得富貴而不回鄉，就好像是穿了華麗的衣服走在黑暗裏一樣，沒人能看得見，於是決定返回關東。
項羽打算到底要讓誰留在關中的問題卻始終是個麻煩，他想如果給了劉邦，對這個村夫的怒氣還沒有消除，如果不給他又怕失信於諸侯，對自己的信譽有損。想了又想，最後決定對楚懷王施加壓力，讓楚懷王撤銷“先入關的就留在關中為王”的約定，於是派了個使者帶著一份奏疏給懷王說，劉邦雖然先入關，但是全是由於諸侯們的合作牽製了大部分的秦軍，他才能順利攻下關中，所以劉邦的功勞並不比其他諸侯大。如果真的要照從前的約定把關中賜給劉邦，那又要拿什麼來賜給其他功高的諸侯呢？分封不均，諸侯難免會有怨言，說不定會再度引發戰爭。所以希望懷王能取消當時的約定。
楚懷王看了這個奏章之後，十分生氣，他就讓使者回去告訴項羽，人無信不立，何況當初楚懷王是在天下諸侯的麵前許下這個諾言，怎麼可以輕易地說改就改呢？楚懷王讓項羽維持原來的約定。
這個答複讓項羽頓時就火冒三丈，他氣得渾身發抖，說楚懷王是什麼東西，還不是自己把他從平民捧到了王位，他哪一樣不是坐享其成的？從他坐上王位，一直到消滅秦軍，在這三年的時間裏，他什麼也沒有做。這個江山都是項羽和他的部下出生入死，刀山火海地拚出來的，還敢對他進行違抗，真是不要命了。立刻，項羽就找了個借口，說楚懷王應該和古代帝王一樣，地方千裏，而且居住在河流的上遊，因此逼迫他遷都偏僻的長沙郴縣（今湖南郴州），然後項羽又以巴蜀漢中同屬於關中的範圍為借口，將劉邦封為漢王，指定他建都南鄭（今陝西南鄭縣）。這樣一來，他沒有把劉邦留在關中，而又沒有違背當初的約定。