當彭城這一仗被打得慘敗之後，漢軍萬般無奈之下被項羽軍隊逼到靈璧（今安徽靈璧縣）東麵的淮水，幾十萬人全被擠下水中，光是淹死的就有十多萬。幸好突然起了一陣暴風，吹得人仰馬翻，天昏地暗，日月無光，劉邦才趁機帶了十幾個隨從趁機逃跑了。
之前的享受榮華富貴的夢想全部破滅了，劉邦被項羽打得落花流水之後，才明白了彼此的差距。到了快被逼上絕路的地步，劉邦突然才想起了家，他懷念老父劉太公，想念妻子呂雉還有兒子劉盈，以及可愛的女兒。劉邦仔細回憶起來，自從他追隨楚懷王轉戰河南、山東，西入鹹陽，幾年的戎馬生涯，他都沒有時間回到家鄉去看一下，也從來沒有想到過把家眷接到身邊。不過按照道理來說，劉邦都已經打進了彭城，離家隻有一百多裏地的路程，早應該回家去看看，但是他當時隻顧著自己享受，完全沒有想到這些。到了現在，他被打得一敗塗地，又該被迫退回關中休養幾年，此時如果能夠把家中老小都順便帶上，也算彌補了那些愧疚感。於是劉邦決定向西北逃亡，回到沛縣豐邑。
等到劉邦到了家門口，隻見大門緊閉，空無一人，就連左右鄰舍也都不見了，好不容易才找到一個人問情況，而那人說劉邦的家人在楚軍南下時因為軍隊一路燒殺虜掠，就跟著一群人都逃往南方逃難去了。劉邦隻好繼續向西奔逃，一路上隻見難民眾多，有的自東向西逃，有的從南往北跑，扶老攜幼，無比的淒涼悲慘。就在這時候劉邦在難民中發現有兩個小孩很像兒子劉盈和女兒魯元，連忙叫人帶過來，仔細辨認之下，果然是自己的骨肉，父子重逢，總算給劉邦帶來了一點喜悅。
但是沒走多遠楚軍就從後麵追過來了。劉邦看到車上載的人太多跑不快，就一狠心，抬起腳就把劉盈、魯元踢下車去，顧著自己逃命去了。幸好夏侯嬰在後麵護著兩個小孩又跟了上來。但是每次隻要一遇到楚軍，劉邦就想把孩子扔掉，每次都被夏侯嬰攔住，為了這件事，兩人還爭吵了好多次，劉邦氣得都想把夏侯嬰殺了，可是，看看左右也隻不過剩下幾十個人了，隻好忍了下來。
就在這沒日沒夜的逃命中，劉邦心中想的隻是該怎麼樣才能保住自己的命，後來他聽說妻舅呂澤駐防在下邑（今安徽碭山縣），於是他帶領幾十個人趕緊過來投奔，這才暫時安定下來。
劉邦在下邑沒過多久，就又從下邑撤退到梁郡（今安徽壽縣）。劉邦心裏清楚，他不能再在關東生活下去了，決心要回到關中再度闖出一番天地。但是現在關東情勢十分緊急，現在假如沒有人替他頂著，估計過不了多久，關中也將落入敵人之手了。所以劉邦立即召集部屬開會，打算把函穀關以東的地盤全部放棄，看看誰有能力接得下來。
張良分析，現在隻有三個人能夠接得下來。第一個人是九江王英布。在項羽征齊的時候，調遣他去參戰，但是英布卻假裝生病，隻派了個將軍率領幾千人敷衍項羽，所以項羽才對他不滿意。而當劉邦軍隊攻下彭城的時候，隻有英布離得最近，但是他隻是按兵不動，項羽對他更是怨憤。所以，隻要派個能言善辯的人，好好利用項羽和他的關係，一定能說動英布反楚。第二個人是魏相國彭越，項羽痛恨他聯齊反楚，兩個人根本就是死對頭，如能善加利用，也是一支有力的部隊。第三個人，隻能在漢軍將領當中尋找。而在漢軍的將領當中，隻有韓信一個人可以擔此重任。
張良建議劉邦，如果決心暫時放棄關東，隻要對這三個人許下承諾，給予相當的報酬，一定可以協助他攻擊項羽，完成使命的。劉邦聽從，就依計行事。一方麵，他召請韓信，同時派專使聯絡彭越牽製楚軍的攻勢；另一方麵，他又派說客隨何去往九江王英布那裏進行籠絡的工作。
九江王英布見劉邦派說客隨何過來，不清楚他到底是什麼意思，避不見麵，隻派了個代表詢問隨何的來意。
隨何是個能言善辯的說客，他見英布是這個意思，立刻就說：“其實我早就知道，九江王絕對是因為怕得罪項羽，才不願意接見我。但是他沒有想過，就算他接見我又有什麼關係？我說的話他聽得進去就點點頭；聽不進去，我這顆腦袋正好讓他砍了獻給項羽，這樣一來，項羽不但會既往不咎，而且還能夠博取項羽的信任，讓項羽明白九江王是誠心誠意地在擁護楚國。像這樣兩全其美的事，九江王又何樂而不為呢？”英布聽了隨何這麼說，覺得有些意思，就讓他進宮，看看他能說出些什麼來。
隨何一見到英布，就問他是什麼原因讓他疏遠漢國而親近項羽呢？英布回答他說，他原來是項羽手底下的一名先鋒，現在他之所以能夠被封為王，都是項羽一手提拔的，他當然會與楚國比較親近了。
但是隨何立刻就指出來，說他當年起兵鄱陽，獨樹一幟，後來才跟項羽合力抗秦，項羽與他應該是平起平坐的地位才對。當楚懷王定都盱眙的時候，封項梁為武信君，而那個時候英布也已經是當陽君了，當時項羽隻不過是個郡將而已。後來英布救援巨鹿、攻破函穀關，替楚國打天下，功高勞苦，而英布他是與項羽都是列土封侯了，不應該聽他的才對。