呂釋之說：“我受呂後重托，來求先生，先生為何置之不理？”
張良為了免禍，說：“這種事情不是靠言辭能夠解決問題的。要想勸阻皇上廢長立幼，天下隻有四人。這四個人是東園公、綺裏季、夏黃公、由裏先生，世稱他們四皓。這四皓年歲已高，因皇上失禮，逃到商山，發誓不為漢臣。皇上很敬重此四人，每每欲得之。你去轉告皇後，囑太子修書，帶上重禮，派能言善辯之人，前去相聘。此四人定會前來相助。四人來，太子以他們作為客人，事之以師禮，經常陪伴左右。皇上知道此事，就不會再說廢立之事了。”
呂釋之忙去報告呂後。呂後依計行事，請來了“四皓”。
漢十一年(公元前196年)七月，淮南王英布謀反，劉邦正在生病，不覺想出妙計：令太子劉盈親征，勝了可以得到磨煉；敗了乘機廢掉。一箭雙雕，劉邦非常得意。四皓探得消息，認為皇上要太子帶兵，太子危險了！
四人忙去對呂釋之說：“太子率兵，建功不能加封，無功則受禍。夫人戚姬，日夜侍禦，‘母愛子貴’(《史記》語)；趙王劉如意，皇上常說：‘終不使不肖子居愛子之上’(《史記》語)。這充分表明，皇上要讓如意代太子。你快去叮囑太後，讓她向皇上哭訴：‘英布是天下猛將，極善用兵；朝中眾將，全是皇上舊臣，怎聽太子調度？太子出師，必敗無疑。一仗之敗，牽動全局。皇上雖然病體初愈，也隻好禦駕親征，眾將才肯用力，英布不難平定。’隻有這樣，才可保住太子，否則，情況實在不妙。”
呂釋之急忙告知呂後，呂後纏住劉邦，哭哭泣泣，說來說去。
劉邦心煩，也覺得有理，說：“我知道這不肖之子幹不了大事，我親自領兵還不行嗎？”
劉邦隻得親征，全體大臣都去送行，張良平時深居簡出，也感形勢嚴峻，前去送行。張良囑咐劉邦，楚人凶悍，不要與其硬打硬拚，一定要小心謹慎。
劉邦說：“先生安心養病，我定會記住你的言語。”
張良說：“太子留守京師，應命太子為將軍，統帥關中人馬，方可服眾心。”
劉邦又請張良為太子少傅，將上郡、北地、隴西車騎，巴蜀步卒，中尉兵3萬人，全部劃歸太子總領，然後才與張良告別而去。
張良此舉，大概也助了呂後一臂之力，當然，對於劉邦安心征討英布，也有重要作用。
劉邦擊敗了英布後，到老家省視父老鄉親。這是劉邦當皇帝的第一次還鄉，也是最後一次還鄉，可算“衣錦還鄉”，風光一回。
劉邦從故鄉回來，已是漢十二年(公元前195年)十一月，由於征途勞累，箭傷複發，急回長安住進長樂宮，每日都是戚姬陪伴。她看到劉邦生病，心情格外沉重。劉邦深感戚姬一片衷情，想到自己一旦死去，定難保證戚姬母子性命，暗下決心，決定來日廢長立幼。
次日，劉邦召集重臣進宮，再次提出廢去太子之事。張良現為太子少傅，不好坐視不管，隻得進諫，劉邦微閉雙目，似睡非睡，全不理睬。
張良自知無可奈何，並且認為劉邦此舉對漢朝有利，托病首先退去。眾人見張良尚且無法進言，隻得閉口，免遭無趣。
劉邦看見眾人沉默不語，心中暗自歡喜，說：“既然大家沒有不同意見，就這樣定了吧！”
這時，太子太傅叔孫通跳了出來，發表了一番宏論，《史記·叔孫通列傳》載：
叔孫通諫上曰：“昔者晉獻公以驪姬之故廢太子，立奚齊，晉國亂者數十年，為天下笑。秦以不早定扶蘇，令趙高得以詐立胡亥，自使滅祀，此陛下所親見。今太子仁孝，天下皆聞之；呂後與陛下攻苦食啖，其可背哉？陛下必欲廢嫡而立少，臣願先伏誅，以頸血汙地。”
高祖曰：“公罷矣，吾直戲耳。”
叔孫通曰：“太子天下本，本一搖，天下振動，奈何以天下為戲？”
高祖曰：“吾聽公言。”
這一場勸諫，與周昌那一場不同。叔孫通想來一定拔劍在手，準備自刎，所以劉邦才不得不說“公罷矣，吾直戲耳”。劉邦不是怕叔孫通自殺，而是怕強行廢長立幼，引起大臣不滿，天下混亂。看來劉邦當皇帝，並不是隨心所欲。叔孫通此舉，為漢家天下帶來了呂後專政。
劉邦關於太子廢立之事，主要是從國家安定著想，情感最終被理智戰勝。曆史上很多人把個人的情感放到國家大事之上，事實證明，都帶來了嚴重的後果。如果劉邦決意廢立，下了詔令，誰也奈何不了他！可是他之所以沒有這樣幹，為的就是國家的穩定。如果他堅持這樣做，結果必然是和呂後反目，影響到和樊噲、張良等功臣的關係，給劉氏天下留下隱患。