過了幾天，朝廷催促彭越上路。彭越想在臨走前叩謝聖恩，目的是想見一見劉邦。
劉邦開恩接見了他。當彭越被押進宮院，頸帶大枷泣不成聲地跪倒在地時，劉邦從皇座上跑了下來：“啊，是彭越兄弟吧？你看這是怎麼的，怎麼的……”
“皇上……”
“朕常對老兄弟們說，如今已新朝建立了，就得有個規矩，不能胡說八道，也不能允許臣子們胡鬧。”劉邦散了個伸手拉他的姿勢，可是又把手縮了回來，“你啊，還是過去那個老脾氣，這不是……這叫朕怎麼辦呢？”
“謝皇上饒臣下一條命……”
“兄弟，王法無情，你隻好先到那邊去了，朕一定要當地的都尉照看你，放心，你受不著罪的！”劉邦給侍衛們使眼色，彭越就被帶走了。
不過這次覲見皇上，使彭越多少有點寬心。他叫彭越“先”到那邊去，就是說流放隻是暫時的，不是永久的。另外，在劉邦看來，他的罪行不是謀反而是管束臣下不嚴和說錯了話、辦錯了事的問題。
彭越走了。
路上，解差沒給他上枷，也沒有捆綁，隻是在兩手上戴了副鐵銬。吃飯睡覺的時候，他們還把鐵銬給他摘下來。
是呀，到了這步天地，他還能幹什麼事？就像折斷翅膀的鷹，拔了牙的老虎似的。
到了鄭縣，迎麵看到大路兩旁停放著許多儀仗和車輛。彭越一眼就認出了那是皇後的鑾駕，他猜想一定是呂雉去洛陽路過這裏。
解送囚犯的差旅，隻得避在一邊。
過了一會兒，彭越看到了呂後，她正與躬身相送的地方官說話。
一種撞大運的衝動湧上心頭。彭越對押送官說：“那是皇後，我與她相熟，現在我雖是囚犯，但對麵碰上，禮是不可少的，待我前去拜見。”說著就往皇後那兒走。
解差究竟對彭越還有三分敬畏，對他與皇上一家的關係也摸不清楚，就由他去了。
“參見皇後，願皇後福壽康寧！”彭越跪下去磕頭。
皇後接受地方官的禮物和拜見後，正與他們囉嗦著，忽見一個穿囚衣的犯人跪在麵前，有點吃驚。
“呀，你是誰呀？”
彭越抬起頭來，汙穢的臉上滿是淚水。
“這不是彭王嗎？”呂雉真的吃驚了。
那時，朝中人都知道大漢有兩個政治中心，一是在洛陽的以劉邦為主的總管一切的政治集團，一是在長安的以呂雉和蕭何為核心的行政集團。兩個集團相對獨立又互相通氣。彭越被捉到洛陽並被判處流放的事，呂雉確實不知道。
彭越哭起來：“大嫂……救救我呀！”
呂雉對彭越的印象並不壞，每次到長安或洛陽朝見，公事之餘，彭越都去巴結這位大嫂，順便送點禮物。呂雉認為彭越雖有點狡猾，有點傲氣，——那是江湖豪桀的通病，但他比起英布來心胸開闊，是個可交的朋友。
在大街上是不能談什麼事情的。呂雉叫人帶上彭越回到一旁的衙署裏。
坐定後，地方官給他們備了酒飯，就出去了。呂雉令人給彭越除去鐵銬，脫去囚衣，讓彭越吃飯。
可是彭越哪吃下飯去，依舊哭著。
“那你，就說說是怎麼回事吧！”
彭越從頭到尾地把事情說了一遍，呂後已經大體明白了。廢黜彭越是劉邦清除異姓王的一個重要部分。呂雉也認為異姓王必須逐個清除，但她覺得像彭越這樣曾經為大漢的建立有過特殊功勳的諸侯，廢黜了也就算了，不要把他們置於死地。
“彭王，”呂雉說，“不是嫂子說你，你也太狂妄了，事到如今，嫂子也沒有恢複你王位的本領了……”
“皇後，彭越不想再做王了，大漢有皇帝、皇後就足矣，何必有這樣那樣的王呢？臣已衰邁，隻求讓我一把老骨頭安葬故鄉便感激不盡了！”