周昌這才明白高祖令已為趙相之意，遂收淚領命，辭退而出。
數日之後，昌奉趙王如意，辭別高祖，出都赴趙。
周昌走後，禦史大夫一職已成空缺，該授與誰？高祖苦思多日，沒能確定人選。
一日朝罷，高祖又想起此事，用手撫弄著禦史印綬，自語道： “這印綬當屬何人？”
抬頭一看，恰趙堯在側，頓時心中一亮，又自語道： “看來，禦史大夫一職，當屬此人！”
於是，頒下詔旨，令趙堯接替周昌，為禦史大夫。
趙堯時為掌璽禦史，本歸禦史大夫管轄。事前有趙人方與公，曾對禦史大夫周昌道： “公屬下趙堯，年雖少，但是奇士，公當另眼視之，他日必代公位。”
周昌聽後，笑道： “堯尚年少，不過為一刀筆之吏，又何能至此！”
及昌至趙國，堯果真被任命為禦史大夫，昌聞知後，方佩服方與公的先見之明。
高祖廢立太子之事被阻，如意赴趙就國，但呂後怕劉盈被廢的憂慮卻絲毫沒有減弱。她越想越怕，又怎能保住太子之位呢？實難想出萬全之策。就在這時，有人向呂後獻計道： “留侯張良素來多謀善斷，皇帝也十分信任他，何不派人向他求教？”
呂後聞計，笑道： “我真是急糊塗了，怎把留侯忘了，虧你提醒！”
說畢，重賞此人，並派其弟建成侯呂釋之前往張良所問計。
張良素以足智多謀著稱海內，協助高祖奪取了天下，且自保有術。高祖即位後，曾令其自選齊地三萬戶，而良說： “初，臣起於下邳，但與陛下巧會於留，這是上天將臣授於陛下，陛下用臣之謀，幸得有功。今求封留邑，心願已足，怎敢當三萬戶？”
高祖聞言，隻好封張良為留侯。自此，良借身體多病，深居簡出，極少幹政。
這日，張良正在家中靜坐行氣，忽聞呂釋之求見。良料其必受呂後所遣，忙起身迎進。釋之道： “君是皇帝謀臣，深得皇帝信任，今陛下欲易太子，君又怎能在家高枕而臥？”
張良聞釋之所言，已知其來意，回道： “當初，陛下處於危急之中，幸用臣計。今天下已定，陛下因愛心而欲易太子，本是皇室家務事，雖有臣等百餘人，又有什麼辦法？”
釋之見張良推托，便仗日後之勢，強行要良獻計，道： “我受呂後之托，來向君求教，君總不能置之不理吧？”
張良為免禍災，遂道： “此事不是口舌所能解決的，要想阻止陛下廢長立幼，天下隻有四人，即東園公、綺裏季、夏黃公、裏先生，世稱四皓。此四人年紀已老，因陛下待人欠禮，逃匿商山之中，誓不為漢臣。但陛下敬重四人。今公可令太子修書，帶上金玉布帛，派能言善辯之士，前往商山好言相聘，此四人會應聘出山。出山後，令為太子客，隨時從太子入朝。陛下見到後，必異而相問，當知此四人後，必斷廢立之心。”
釋之聽後，並不解此計妙在何處，當即告辭而出，回報呂後。
呂後得計，立刻令釋之派人，奉太子書，卑辭厚禮，前往商山，聘迎四皓。四皓見來意甚誠，同意出山相助。及到長安，太子劉盈格外敬重，情同師事。四人遂不好告辭離去，隻得在建成侯府住下。
漢十一年（前１９６年）七月，淮南王英布反。時，高祖病體初愈，有意讓太子統兵，往征英布：勝了，可得磨煉；敗了，也可乘機廢掉太子。
此計不可謂不妙，但已被四皓看被，相互議論說： “我們來到長安，就是為了保護太子。陛下令太子領兵，事情就危險了！”
於是，四人往見呂釋之，說道： “太子領兵，有功不加封，無功則受禍，臣等聞‘母愛者子抱’，今戚夫人日夜侍禦，常將趙王如意抱於帝前，陛下曾言：‘終不使不肖子居愛子之上’，這就說明了，一定要讓如意代太子之位。君何不去見呂後，令其位於帝前，就說：‘英布本為天下猛將，又極善用兵。現今朝中眾將，皆屬陛下舊臣，又怎肯受太子節製。今若使太子統兵，就如同使羊將狼，誰肯聽命？此消息若讓英布知之，必揮師西進，一仗打敗，定會牽動全局。為此，陛下雖病體初愈，也隻能率軍親征，眾將也不敢不盡其力。’如此，則可保太子安全無虞！”
釋之聞計，急忙往見呂後，具告四皓之言。呂後遂哭泣於高祖麵前。高祖聞後，煩道： “朕知豎子不能任事，朕自領兵罷了！”
臨東征，張良抱病進言高祖，令太子為將軍，統關中兵。高祖複任良為少傅，協助太傅叔孫通，輔佐太子。
至此，高祖欲廢太子之事，又一次受阻。
漢十二年（前１９５年）十一月，高祖征英布歸，因途中箭傷複發，匆匆回到長安，臥於長樂宮，數日不能朝。戚姬朝夕侍側，見高祖痛苦呻吟，心情格外沉重。
一日深夜，高祖被箭傷疼醒，微睜雙眼，透過昏弱的燭光，見戚姬頭發散亂，麵色疲憊，坐於床前，正麵對自己，暗自流淚，頓時一股酸苦之情由心中湧起，熱淚不自主地湧出了眼框。戚姬見高祖醒來，忙用手帕拭去眼淚，站起身，走到高祖身旁，問道： “陛下是否感到痛疼？妾這就去喚禦醫前來。”
高祖搖搖頭，低聲道： “後宮之中，唯愛姬疼我。我這一病，有勞你日夜守護，天已不早，你安歇吧！”
戚姬道： “陛下一病，妾感內心空虛，六神無主，有幸得侍陛下，豈怕操勞之苦，願陛下安心靜養，早日康複！”
說著，和衣躺於高祖身側。
兩人同臥一床，但都難以入睡，各想心事。高祖心中說：我年歲已高，雖然眾臣呼我萬歲，但古來帝王，有誰能逃過一死？秦始皇遣人四處尋覓長生不死之藥，但結局還不是一樣？我豈能怕死，唯我死後戚姬又將如何？今呂後妒恨之心已生，要保全戚姬母子，別無選擇，隻有廢長立幼。決心已下，不久也就昏然睡去。
戚姬此時也在想著心事：自己受寵陛下，不乘此時進言更換太子，還待何時？且陛下年齡已大，又有重病在身，萬一不幸，自己母子定會落在呂後手中，憑她那在朝中的影響，妒恨的心情，毒辣的手法，到時，還不將我母子……她不寒而栗，再也不敢想下去了。
翌日，高祖將重臣召入寢宮，再次提出欲廢棄太子之事。張良身為太子少傅，義難坐視，便首先進諫，說了許多言詞，但高祖隻是閉目不睬，張良萬般無奈，隻得托病退出。自此，借病不理政事。眾臣各思，平日張良進言，陛下大多采納，今日竟這般如此，遂也不敢輕易進諫。高祖見大家都沉默不語，心中暗喜，當即道： “如無異議，就此定奪！”
話音剛落，太傅叔孫通趨前奏道： “從前，晉獻公寵愛驪姬，廢去了太子申生，結果晉國亂了數十年，成了天下笑柄。秦始皇不早立長子扶蘇，使趙高有機可乘，矯詔詐立了胡亥，此乃自取敗滅，這是陛下親眼所見。今太子仁孝，天下皆知。且呂後與陛下，同曆苦難，又隻生太子一人，怎可無端廢棄？如陛下今日定要廢嫡立少，臣情願先死，以頸血潑灑陛下麵前之地！” 說罷，拔劍在手，意欲自刎。
高祖見此，心中一驚，忙製止道： “公慢動手，朕不過是偶出戲言，不必過分認真，怎可屍諫！”
叔孫通放下寶劍，回道： “太子乃天下之本，根本一搖，天下震動，怎能以天下為戲呢？”
高祖聞言，歎道： “朕從君言，罷議太子之事。”
說罷，揮揮手，令眾人退了出去，隻好再圖他策。
數日之後，高祖箭傷稍漸好，便置酒宮中，並召太子劉盈侍宴，慶祝東平英布凱旋而歸。
太子劉盈應召入宮，四皓緊隨其後，見到高祖，劉盈行過禮後，四皓也—一上前拜謁。高祖見四人皆年暮老人，各個須眉似雪，道貌岸然，心中十分驚詫，便問太子道： “此四老是何人？”
太子劉盈尚未答話，四皓已自報姓名。高祖大驚，說道： “公等就是商山四皓！朕久聞賢名，數年前朕就派人往召，但公等避而不至，不知今日為何，竟來隨我兒左右？”
四皓交換了一下眼神，齊道： “陛下素輕士好罵，臣等不願受辱，故懼而藏匿。今間太子為人仁義，又恭敬愛士，天下之人，都願為太子效命，臣等為此遠道而來，甘願輔佐太子。”
高祖沉思片刻，便道： “我兒得高人輔助，乃是再好不過之事。還望四位一心維護，勿使失德！”
說完，令四皓同坐，一齊宴飲。四皓奉命，傍坐相陪，並依次捧杯上壽，高祖接過，一飲盡。酒過數巡，高祖心事加重，總感不快。
在此之前，高祖廢棄之意並未改變，現見連他都未召至的商山四皓，竟來到長安，甘心輔佐太子。他隱隱感到，太子的根基已深，實難動搖，如硬行廢棄，也不是不可能之事，但定會引起朝臣非議，甚至是天下混亂。可戚姬母子又將如何辦呢？
高祖心情不暢，遂令太子退去。太子起座，四皓相隨，慢慢離去。高祖急召內室戚姬，用手指著已步出宮門的四皓道： “朕本欲改立太子，但劉盈已得商山四皓相輔，羽翼已成，實難再動了。”
戚姬聞言，頓時淚流滿麵，嗚咽著說； “我母子命休矣！”
高祖也不免心酸，勸道： “愛姬不必過悲，雖呂後得勢，朕定作周詳安排，諒她也不敢加害於你。朕現酒性未盡，我作楚歌，你作楚舞，我們何不歡樂一回？”
戚姬隻得收淚，就在席前揚起翠袖，翩翩起舞。高祖思考了片刻，歌詞已成，遂開口唱道： “鴻鵠高飛，一舉千裏。羽翩已就，橫絕四海。橫絕四海，當可奈何！雖有 銲 繳，尚安所施！”
歌罷複歌，聲充後宮，情調淒涼，傾泄著高祖愁苦無奈的情緒。 戚姬本就知音通文，她又怎能不理解此時高祖的心境，聞歌動情，悲從心中來，想起自己母子，一旦高祖駕崩，還不知落到何種境地，不禁淚如泉湧。
她原本想借助高祖之寵，奪得儲君之位，現眼見化成泡影，自身反處於一種極其危險的處境中。她感到自己像一隻孤雁，哀鳴無援，隨時有被獵人射下的可能。她開始絕望了……渾身無力，再難成舞，後來索性掩麵痛哭起來。高祖也無心再飲、再歌，攜起戚姬，轉入內室。
自此，廢立太子之事，再不提起。《史記-留侯世家》上說：“竟不易太子者，留侯本招此四人之力也。”這未免誇大了四皓之力。對廢立太子之事，立在劉邦，廢亦在劉邦。劉邦之所以放棄改立之意，意在安國！
漢初廢立之事，曆經三議，真可謂一波三折！