既而內外群臣，也就此事上書固爭。劉邦既不便強違眾意，又不好過拒愛姬，隻好延宕過去，再作後圖。
劉邦瘡病少瘳，在宮中置酒，特召太子侍宴。太子劉盈應召入宮，行過了禮。劉邦瞧見太子身後站著四位老者，須眉似雪，道貌岩岩，心中甚為驚異，顧問太子道：“這四老乃是何人？”太子尚未答言，四老已自敘姓名，原來正是張良授意請來輔佐太子的商山四皓。劉邦愕然道：“公等便是商山四皓麼？我求公已閱數年，公等避我不見，今為何到此，從吾兒遊行？”四皓齊聲道：“陛下輕士善罵，臣等義不受辱所以違命不來。今聞太子仁孝，恭敬愛士，天下都延頸慕義，願為太子效死。臣等體念輿情，故特遠道來從，敬佐太子。”劉邦聽了，似有所悟，徐徐說道：“公等肯來輔佐我兒，還有何言？幸始終保護，毋致失德。”四皓唯唯聽命，依次奉觴上壽。劉邦勉強接飲，且使四皓一同坐下，共飲數杯。約有一兩個時辰，劉邦總覺寡歡，就命太子退去。太子起座，四皓也跟著站起來，隨著太子，謝宴而出。《史記》卷五十五《留侯世家》。當商山四皓隨著太子，向殿外慢慢走去時，劉邦急召戚夫人到身前，指著那四人，欷著說道：“我本欲改立太子，怎奈太子竟然得到這四人的輔佐，羽翼已成，勢難再動了。”戚夫人本來把一切希望，都寄托在劉邦身上，現在聽劉邦也這樣說，她還能有什麼辦法呢？隻剩下流眼淚的份了。劉邦見她這樣難過，也覺得過意不去，安慰道：“你也不必過悲，須知人生有命，得過且過。你且為我作楚舞，我為你作楚歌。”戚夫人無奈，就席前飄揚翠袖，輕盈回舞。劉邦構思片刻，歌詞已就，隨即高聲唱道：
鴻鵠高飛，一舉千裏。
羽翮已就，橫絕四海。
橫絕四海，當可奈何！
雖有繒繳，尚安所施！《史記》卷五十五《留侯世家》。
劉邦雖少讀書，但天資聰穎，上次歸故鄉時所作《大風歌》，即慷慨中寓悲壯，豪放中寄深沉。正如前人所言：“大風三言，氣籠宇宙，張千古帝王赤幟”，《史記評林》引王士貞語。“自千載以來，人主之詞未有若是壯麗而奇偉者也”《史記評林》引朱熹語。那些酸腐犬儒，就是讀八輩子書，也唱不出這樣的歌詞。這回所作《鴻鵠歌》，既有對太子的欣慰，那劉盈畢竟是自己的兒子，已可像鴻鵠一樣高飛千裏，自己開創的大漢王朝社稷有望；也有對戚夫人和如意的惋惜，他們想非所想，已經無可奈何了。從而婉轉多致地傳達出心中的萬千思縷。
劉邦歌罷複歌，回環再四，音調淒愴。戚夫人本來通文曉音，怎能聽不出劉邦的淒婉和無奈呢？她越覺悲從中來，索性掩麵而泣，淚下如雨。劉邦也無心再飲，吩咐撤去饌肴，攜著戚夫人的手，慢慢進入內殿。
從這以後，劉邦和戚夫人，再也不提廢立之事了。
都說人生多苦難，不如意事常十之八九。實際上，人生的十件煩惱，九件都是自找的。想非所想，就是其主要原因。無論庶民百姓，還是帝王將相，都是這樣。劉邦，本來就不應該想那廢立之事，那關乎天下興亡，是隨便能想的麼！他要愛戚夫人，辦法多的是，何必出此下策？戚夫人，也不應該自不量力，想那非分之事平添煩惱！
但是，他們都想非所想。這一想，豈止是平添煩惱，而是想來了商山四皓，鼓動劉邦親征中箭，向另一個世界報到；也給戚夫人送來了那麼悲慘的結局。