桓溫這篇洋洋灑灑的討殷檄文，正是順應了當時的形勢，殷浩作下的孽，隻能由自己買單。皇帝、皇後也好，司馬昱也好，誰也沒有辦法保護這個賣嘴皮子的“天才”，於是殷浩被免為庶人，徙居信安。
從此以後，朝廷內外大權漸漸歸於桓溫，沒有人再能阻止桓溫的北伐了。
殷浩被廢，桓溫心情輕鬆，當談到殷浩時，對左右說：“小的時候，我與他共騎竹馬，我丟了，他才拾起來，所以他不如我。”
這些話，恰被葉楓聽到，批評他：“為人不可驕傲，驕傲使人落後，謙虛使人進步。為什麼朝廷先上來會選擇了殷浩，是因為怕你功高蓋主，一定要豎立起一個敵人來牽製你，這是古來有之的馭人之術。隻有夾起尾巴做人，才會長久。”
桓溫點了點頭，誠懇地說：“幹爹說得極是。”
葉楓又教訓他：“你和殷浩爭了這三四年，恰是北方羯族、鮮卑、大魏、姚襄、符健等相互攻殺的大混亂時期。而我們東晉卻保持著相對的平靜和發展，這正是出兵北伐的大好時機。可是現在，北方的局勢已經發生了深刻的變化，前秦和前燕已經在北方有了一定的基礎，北伐的難度加大了。”
東晉永和十年（354年）的一天，在東晉的太極殿上，再次研究了北伐的問題。這時候的穆帝司馬聃已經11歲了，能夠安靜地坐在了龍椅上，聽著大臣的秦疏，但是仍然不能單獨理政，還得由他的母親褚蒜子坐在旁邊，臨朝攝政。
由於小皇帝能省點心，所以褚蒜子總算能靜下心來處理朝政。她目光安祥，對大家說：“眾位愛卿，有什麼事，還請報來。”
司徒蔡謨上前一步，對穆帝司馬聃和皇後褚蒜子行了一禮，說道：“北方大亂，這是個好事，然而恐怕更給朝廷帶來隱患？”
皇太後難於理解此話，問道：“此話怎講，妾身實在有些不明白？”
不但太後不明白，朝廷上許多人都不明白。石虎死後，胡虜互相攻擊，致使力量大減，這不是好事嗎，怎麼還會給東晉朝廷帶來隱患呢？
蔡謨繼續解釋道：“能夠順應天時、掌握時機把百姓從艱難困苦中拯救出來的事業，如果不是傑出的聖人和英雄是不能承擔的。不如老實地衡量一下自己的德行與力量，量力而行。反觀如今征伐後趙之事，恐怕不是當今的賢達之輩所能辦成的。
“如果隻是步步為營，分兵攻守，這是以勞民傷財為代價，來炫耀個人的誌向。最後隻能以才能和見識相對平庸，難於達成目的而告終。這樣做給國家帶來什麼呢？隻能是財力耗盡，人員減少，智慧和勇氣全都變成窘困，這不是給國家帶來隱患又是什麼？”
眾人聽完蔡謨的話，這才明白他話裏的意思。這是蔡司徒從大局著想，反對北伐啊！頓時支持他的人不少，特別是南方的士大夫，安穩日子過慣了，不願意再起刀兵。