張耳在被陳餘擊潰後四處逃竄，始終找不到立足之地。他見劉邦有東向爭奪天下之心，便來投靠。劉邦大喜，待之以上賓之禮。
陳平在項羽的帳下久久不得重用，又因殷王司馬卬背楚降漢之事而被項羽責罵，心中憤憤不平。更加令他無法忍受的是，項羽再也不肯采納他所提出的計策了。陳平覺得自己成了受氣包，說不定哪天就會被項羽殺掉，不如另投明主。他在鴻門宴上見過劉邦一麵，當時還故意放走了劉邦，再加上他有一些朋友在劉邦手下任職，遂果斷投靠了劉邦。
張良歸來，張耳和陳平來投，令劉邦如虎添翼。在這種情況下，狡黠的劉邦開始有意限製韓信的權力了。在還定三秦過程中，韓信表現出來的卓越軍事才華讓劉邦晝夜不安。他時刻都在擔心，萬一韓信擁兵自重，要取代自己，他簡直毫無還手之力。因此，劉邦不動聲色解除了韓信的兵權，以除後患。
劉邦令韓信和蕭何留在關中，一人管理軍事，一人管理政務，自己則親率五路諸侯的56萬大軍東進伐楚。韓信被解除兵權後，空頂著一個上將軍的頭銜，隻能老老實實地按照劉邦的旨意領兵去攻打雍兵的殘餘勢力。
漢高祖二年正月，韓信在隴西之役中俘虜了章平，隨後又領兵圍困廢丘。
三月，劉邦親率大軍從臨晉（今山西省臨猗縣臨晉鎮）渡過黃河，西魏王豹領兵跟隨。隨後，劉邦等人又一路向東，俘虜了在楚漢之間搖擺不定的殷王司馬卬，在殷王之地置河內郡。三月末，劉邦一行從平陰津（黃河古渡口，在今河南省孟津縣境內）南渡黃河，抵達洛陽。
德高望重的新城三老董公攔道痛哭，向劉邦訴說委屈：
“大王可知道，義帝已經被項羽這個暴君擊殺在江中了！”
三老是秦漢時期掌管鄉間教化的非正式官吏，一般由德高望重的長者擔任，相當於後來的族長。此時，距義帝在江中被殺已有7個多月，劉邦可能早已知道此事了。但他見董公傷心欲絕的樣子，又見張良、陳平等人頻頻向他使眼色，頓時捶胸頓足地大哭起來，連衣襟都扯開了。
洛陽百姓和漢軍士卒見劉邦痛哭流涕的樣子，以為他真的是在為義帝哭喪，無不傷心落淚。劉邦見狀，立即決定為義帝發喪，以收攏人心，於是下令：全軍穿孝，為義帝守孝三日。
第三天，劉邦又號召天下諸侯：
“天下共立義帝，北麵而事之。但項羽卻將義帝流放江南，又暗中在長江上將其殺害，多麼大逆不道啊！如今，寡人親自為義帝發喪，願領天下諸侯之兵討伐項羽，為義帝報仇！”
如此一來，劉邦就找到了一個出兵攻打項羽的理由，而且冠冕堂皇。此時，田橫已擁立田榮的兒子田廣為齊王。齊王田廣對項羽恨之入骨，立即發兵響應劉邦，在城陽一帶對項羽死纏爛打，死死拖住項羽的軍隊。與此同時，趙王歇與代王陳餘也領兵攻打楚軍，配合劉邦的軍事行動。
四月，劉邦率56萬諸侯聯軍趁項羽在城陽與齊軍大戰之時，攻占了楚國都城彭城。被勝利衝昏頭腦的劉邦忘乎所以，迫不及待地跑到項羽的宮中花天酒地去了。
項羽聞訊大怒，留下主力部隊與齊軍周旋，自己率領3萬精銳來敵劉邦的56萬大軍。項羽星夜兼程，隻用了一個晚上就趕到蕭（今安徽省蕭縣），並迅速擊潰了漢軍左翼。中午時分，怒發衝冠的項羽領兵殺進彭城，劉邦被打得措手不及，慌忙向南逃去。項羽又率部緊追不舍，先後在穀水、泗水之濱大敗漢軍，斬殺10餘萬漢軍。
劉邦大驚失色，急忙向南麵山區逃去，結果又在靈璧（今安徽省靈璧縣）東睢水（今濉河）被項羽追上。劉邦指揮大軍拚命抵抗，但漢軍士卒根本不敢與怒發衝冠的項羽交戰，結果漢軍被殺者、落水而死者又達10餘萬人。漢軍的屍體堵住了河道，以致“睢水為之不流”。