項羽率領精兵，由魯地出胡陵，再到蕭縣。蕭縣在彭城之西，駐有數萬漢兵，本為防備楚軍而設。項羽軍到之時，正當黎明，漢軍方才睡醒，毫無戒備，被楚軍衝入營內，殺了個落花流水。項羽殺散蕭縣漢軍，長驅直入，直抵彭城城下。
城內眾將聞楚軍兵臨城下，都嚇得膽戰心驚，忙報知劉邦。劉邦因日耽酒色，方起床不久，聞報也驚出一身冷汗。忙出宮升帳，調配人馬，開城迎敵。
城外，項羽寶駒鐵甲，手持長槊，殺氣騰騰。楚軍將士各個如凶神惡煞，他們要與漢軍拚命，以奪回家室。
漢軍人多氣餒，未戰先衰，不得已向前交鋒。
所以，兩軍對壘，漢軍戰一合，敗一合，打一陣，敗一陣。時至日中，項羽殺得性起，遂大吼一聲，一馬當先，衝入漢營，手中長槊上下翻動，連挑數名戰將，直奔劉邦撲來。樊噲、周勃見劉邦危險，忙打馬來救，與項羽一左一右戰在了一起，樊噲、周勃雖是漢軍名將，但二人聯手，仍難敵住項羽，時間一久，均感兩臂發麻，不得不掩護劉邦向後退去。劉邦一退，全軍遂亂，三萬楚軍乘機追殺，直殺得天昏地暗，日色無光。漢軍逃至穀、泗二水旁，因爭著渡水，自相踐踏，連被楚軍所殺，死傷多達十餘萬人。還有三四十萬人馬，往南入山，逃到靈璧(今安徽東北部)東的睢水邊，又被楚軍趕上。這時的漢軍，前有大河擋路，後有追兵殺到，為了逃命，隻得跳河求生。不料水深流急，再加上眾多將士不會水，溺死者十多萬人，睢水都為之不流。
劉邦逃了一程，又被楚兵圍住。這時，身邊將士不過數百，想起東征時軍馬之盛，又目睹眼下慘敗之狀，不禁悲從心中來，仰天長歎道：“難道此地就是葬我之處嗎?”
話聲未落，忽然狂風大作，飛沙走石，拔木毀屋，從西北吹往東南，一時間天昏地暗。刮得楚軍站立不住，咫尺間難分敵我。劉邦見天機不可放過，忙帶著殘兵敗將覓路而逃。
脫出楚軍重圍，劉邦這才發現，此地離豐邑已經不遠，心想不如趁機將老父妻子接走，免遭楚軍毒手。於是，帶領人馬奔往豐鄉。到家門，隻見雙扉關閉；不見一人，心中不免一驚，向四鄰打聽，都說不知去處。劉邦無奈，隻得離去。因整日奔波，劉邦自感勞累。這時，夏侯嬰在側，忙請劉邦下馬乘車，順大路緩緩西行。
楚漢之爭，百姓痛苦，大路之上，有不少三五成群的難民。正行間，夏侯嬰忽然發現不遠處走著一雙兒女，渾身泥土，手拉著手，哭泣著隱現於難民行列之中，身形極像劉邦骨肉。忙對劉邦說：“難民中有一雙兒女，極似大王孩兒，大王快看，是也不是?\"
劉邦聞言心中一動，忙順夏侯嬰所指方向望去，果然是自己親生兒女，遂叫夏侯嬰將他們抱上車來。兩個孩子不想半路上碰見了自己的父親，趴在劉邦身上痛哭失聲。劉邦好不容易將其勸住，問道：“我兒如何流落到這裏?”
兩個孩子你一言，我一語地答道：“我們隨祖父、母親離家已經二日，不想今日一上路，便遇到了亂兵，亂兵過後，再尋祖父、母親，已經不見了，幸虧在這裏遇到了父親，還請父親快快找回祖父、母親!\"
說完，又哭泣不止。眾人聞言，也為之動容。
正敘間，後麵旌旗招展，似有楚兵追來，劉邦道：“追兵將至，打馬快行!\"
一時間，數百騎兵護著一乘車馬，飛快地向西奔去。後麵果然是楚兵追至，為首一將叫季布。
季布見劉邦車馬就在前麵，立即下令窮追不舍。劉邦逃，楚軍追，大路上騰起兩股灰塵，漸漸接近。
劉邦急了，恐車重行遲，竟將親生子女推下車去。夏侯嬰見了，大叫一聲：\"大王不可如此!\"
隨著喊聲，又飛快地將兩個孩子抱回車中。然而，每當楚軍追近，劉邦又將兒女推下車去。夏侯嬰見狀，複將孩子救回車中，如此數次。劉邦大怒，叱責夏侯嬰道：
“我等萬分危急，不可為了兒女而自喪性命!”夏侯嬰也急道：“現雖緊急，不打馬快馳，怎可棄兒!”
劉邦更加惱怒，拔出寶劍，欲砍夏侯嬰，夏侯嬰閃過劍鋒，見兩孩又被踢下，索性跳下車來，一腋一個，將兩孩挾住，飛身躍上一匹戰馬，疾奔而去。這時，天色已晚，季布怕中伏兵，停馬不追，劉邦這才得以逃脫。
楚兵去遠，劉邦這才放下心來，休息片刻，下令往投下邑。下邑在彭城西北，碭縣以東，由劉邦妻兄呂澤領兵駐紮。劉邦及夏侯嬰等人，抄小路急行，臨近下邑，已見呂澤接應人馬。
進入下邑，劉邦才結束了兵敗後的流離，有了一個安身之地。數日後，逃散的漢軍將士，聞劉邦在下邑，都陸續會至，聲勢又漸振。當劉邦問及各諸侯情況時才知，彭城兵敗，殷王印陣亡，原塞王司馬欣、翟王董翳，投降了楚軍。趙、魏等殘兵，都已敗回本國。原先號召諸侯，以伐無道的局麵已不複存在。更重要的是，劉邦老父、妻子仍無消息。
一日，劉邦正為此事煩悶，一探卒來報，說太公、呂氏現在楚軍營中，項王待之如客，準備以二人招降劉邦。
原來，太公為避楚難，帶領全家老小扮作難民，準備輾轉入關。不料，路中走散兩兒，自己也被往來的楚兵認出，與兒媳呂氏、舍人審食其一起，被押往楚營，做了俘虜。
劉邦聞老父、妻子一時沒有生命之憂，遂放下心來。又聞項羽收複彭城後，正征集人馬，準備西進。於是，召集將佐，商議退敵之策。眾將佐經彭城一役，已知項羽驍勇，楚軍善戰。所以，都麵麵相覷，不發一言。劉邦勃然大怒，說道：“我情願將關東之地，分授豪傑，不知何人能破楚立功，得此沃土!\"
張良說道：“當今天下，能馳騁疆場，助大王攻破項楚者，唯有三人，他們是：九江王英布，素與項王有隙；昌邑人彭越，助齊反楚。此二人皆有大才，可急招致，使為我用。大王屬將，唯韓信可擔重任，大王若出關東之地，可分與此三人。三人得封，必出死力，破楚易矣!\"
劉邦聽後既喜又憂，喜的是得此良策，憂的是誰可往說英布。他環顧了一下四周，見眾人大多低頭不語，不覺又氣惱起來，說：“與你們這些人，無法商討天下大事!\"
話音剛落，激起在座一人：“不知大王所說何意?”
劉邦一看，見是隨何，便道：“誰可為我出使九江說布，使其背楚助我?”“若大王差遣，臣願前往。”
劉邦見隨何請往，遂派二十人相隨，擇日起程。又遣使分赴韓信、彭越處，令他們前往滎陽，共商破楚大事。
彭城兵敗，善後事完，劉邦引兵由梁至虞，再經虞到滎陽。他要在滎陽運籌良策、積蓄力量，準備與楚軍再戰。