桓溫又繼續辯白道：“晚輩確實沒有造反的意思，全是被朝廷逼的，就是想動作一下，讓朝廷看一看！”
葉楓繼續罵他：“身為都督六州軍事，活了這把歲數，梨樹下別摘帽，瓜地裏別提鞋，這個道理還不懂嗎？你以為是好心，好心不一定辦好事，別人還以為這是造反呢？”
桓溫聽到這裏，隻好說：“晚輩錯了，晚輩錯了還不行嗎，這就退兵回江陵。”
恰在這時，會稽王司馬昱也給桓溫來信。信上說：“北伐還不到時候，應該‘思寧國而後圖外’，你現在好好地管理著國內的事情，至於北伐的軍事，朝廷自有安排。現在沒有朝廷的允許，你就調兵到武昌，容易引起別人的非議。望將軍深思熟慮，切不要做出於國家不利的事情。”
桓溫好好安排送書人，並且即刻回信一封，信上說：“桓溫是東晉的臣子，當然堅決服從朝廷的旨令，王爺的話更是要聽。臣下此次率軍東來，主要是北伐掃滅後趙和大魏，曆年來多次要求北伐都是為國家著想，自己並無私心。領兵東下，臣下實在有些魯莽，這就率軍回到江陵。”
於是，桓溫逆水而上，從哪裏來的，又回哪裏去了。
朝廷還是實行了“巴掌加甜棗”的策略，給桓溫升了官，提升到太尉。但是桓溫本沒有想到要做多大的官，他的誌向仍然是北伐。
這下子，終於解除了桓溫率軍東到武昌的危機，殷浩贏得了本應該屬於桓溫的北伐機會。永和八年（352年），殷浩自壽春（今安徽壽縣）率晉軍北伐。這時候的他，統率著八萬之眾，誌滿意得，傲視天下，全身披掛，好不威風。誰想到，剛剛騎上馬，就從馬上摔了下來。
人有失言，馬有失蹄，這也沒有什麼。殷浩剛剛被侍衛扶上了馬，戰馬顛了兩步，他又從馬上墜落下來。官兵們這才知道，原來堂堂的都督五州軍事大元帥，竟然連馬都不會騎。
這在冷兵器時代，是多麼的可怕，一個連馬都不會騎的主帥，還怎麼領著將士衝鋒陷陣，與敵人廝殺？這個消息傳遍了全軍，人人的心裏像被潑了一盆涼水，心裏冰涼冰涼的。
殷浩的目標是進攻許昌、洛陽，雖然他自己不能衝鋒陷陣，但是可以動嘴，命令淮南太守陳逵、兗州刺史蔡裔為前鋒，向許昌發起進攻。在東晉將士的勇猛進攻下，後趙的張遇終於在許昌被迫投降。
但是殷浩看不起張遇，說話多有冒犯，軍事上也沒有把張遇及時地從許昌調出。張遇一看，殷浩原來是這麼個人呀，又反悔了，在許昌據城叛變。
殷浩沒有辦法，隻好帶領降將姚襄一塊兒向許昌進攻。誰想到，帶兵打仗和賣嘴皮子完全是兩碼事，竟然被張遇打得大敗，隻得退回淮南。
這個姚襄本來是個羌人，有很高的名望，後趙滅亡以後，是隨著父親姚弋仲來投降東晉的。對待這樣的人，非得萬般小心才是，但是殷浩哪懂得這些，高高在上，趾高氣昂，說話行動多有得罪。光罵罵人也就算了，殷浩還派刺客刺殺姚襄，說來搞笑，刺客沒有刺殺成功，還向人家吐露真情。姚襄也算個奇人，不但不記仇，還待他如朋友。