此時，項王正在北擊齊國，與田榮交戰於城陽，田榮兵敗，逃至平原（今山東平原縣南），被平原百姓殺死。三齊全部向楚軍投降。項羽乘勝焚燒齊地的城郭，虜走齊地的子女。齊人因楚軍的暴行而叛楚，田榮的弟弟田橫立田榮的兒子田廣為齊王，齊王田廣於城陽（今山東鄄城縣境）起兵反楚。
項羽因田廣起兵反楚，率兵攻城陽，未能攻下。此時，項羽已得知漢王率兵東進，然而既然已與齊兵交戰，想要擊潰齊兵之後再攻擊漢軍，而這時漢王已率領常山王張耳、河南王申陽、韓王鄭昌、魏王魏豹、殷王司馬顤等五路諸侯共56萬大軍，向楚都彭城進發。到達外黃（今河南民權縣西北），彭越又率三萬餘士兵歸屬漢王。漢王對彭越說：“彭將軍收複魏地十餘座城池，想急於立魏國的後代為王。今西魏王魏豹，確實是魏國王室的後代。”於是任命彭越為魏王的相國，率領其部下的士兵攻占魏國的故地。
同年四月，在彭城空虛的情況下，漢王所統率的五路諸侯共60萬大軍攻入彭城。漢王從未統率過這麼眾多的軍隊，也從未取得過這麼令他高興的重大勝利。在彭城，漢王沒收了項王的貨寶、美人，與五路諸侯整日大擺宴會，飲酒作樂，沉浸在勝利後的狂喜之中。
項王聞知彭城危在旦夕，便命令部下諸將率兵繼續攻擊齊軍，自己親自率3萬精兵南下。楚軍從曲阜（今山東曲阜市）出發，經胡陵（今山東魚台縣東南）南下。此時，漢王已攻入彭城，正在城中“日置酒高會”。項王便從彭城西麵的蕭（今安徽蕭縣西北）發起攻擊，早晨向東進擊，攻至彭城城下。中午，大破漢軍。漢軍全線潰敗，相繼被擠入穀水、泅水之中，漢軍被殺死者多達十餘萬人。漢軍都是向南逃走，楚軍追擊至靈璧（今安徽淮北市西南）的睢水上。漢軍退卻，被楚軍擠逼，傷亡慘重，又有十多萬漢軍被擠入睢水中，睢水因此而不能流動。
楚軍將漢王重重包圍，漢王已無法衝出重圍。這時，西北方突然刮起狂風，飛沙走石，天昏地暗，迎麵向楚軍撲來，楚軍頓時大亂，包圍圈也隨之潰散。漢王趁著狂風所賜給他的一線生機，帶領十餘名騎兵逃脫而走。漢王想路過沛縣，帶領家眷向西逃走，而楚軍也派人到沛縣捕拿漢王家眷。漢王家眷已經逃走，未能與漢王相見。
在逃亡途中，漢王遇見了女兒（後封魯元公主）和兒子（後為孝惠帝），便同車載行。楚騎兵從後麵追趕漢王，漢王急於逃脫，便把女兒和兒子推下車去，以便減輕車的載重而加速前行，但同行的滕公夏侯嬰卻下車把兩個孩子抱到車上。漢王多次把兒子，女兒推下車去，滕公便多次下車收載，並向漢王說道：“情況雖然緊急，但馬又不可跑得再快些，為什麼把孩子拋棄不管？”就這樣，漢王一行終於逃脫了楚軍的追擊。
漢王派人尋找父親和妻子呂雉，但沒有找到。審食其護送漢王的父親和妻子抄小路逃走，反而遇到了楚軍，成了楚軍的俘虜。事情上報項王，項王便把他們安置在軍營中，作為人質。
漢王的60萬大軍在項王的3萬精兵麵前一觸即潰，潰不成軍，死傷三十餘萬人，餘者也都四麵逃散。諸侯聯軍在兵力上以20比1的優勢慘遭失敗，其原因是60萬大軍是臨時湊合的，而項王3萬精兵卻是跟隨他作戰多年，訓練有素，戰鬥力極強。楚軍統帥項羽又勇猛無比，獨具超人的軍事天才和膽略。如此的統帥率領著如此的精兵，與漢王統帥的諸侯聯軍交戰，豈止是以一當十。再說，漢王與諸侯攻入彭城後，整日飲酒盛會，沒有料到楚軍會如此迅速地從天而降。漢軍既無防備，又缺乏統一的指揮，怎能不慘敗於楚軍的猛攻之下。
漢王東征雖然取得了勝利，但這些戰爭都是在沒有和項羽的部隊產生正麵衝突的情況下而產生的，因此這樣的勝利對於劉邦來說是不能算作與楚軍進行正麵交戰獲得的真正勝利。但是劉邦在彭城的慘敗，卻是抹不掉的敗局，在這場戰爭中，劉邦損失慘重，最後他隻能帶領十多名起兵突出重圍，狼狽逃走。這些教訓讓劉邦明白，自己在與楚軍交戰上，還是處於劣勢。