桓溫長期掌握大權，素有不臣之誌，漸羨王敦。一次，他撫枕而歎：“既不能流芳百世，不足複遺臭萬載耶？”公元三七一年年（鹹安元年），率軍攻壽春（今安徽壽縣），俘斬袁瑾。枋頭敗歸後，桓溫威望大減，便從郗超之議用廢立的辦法重新樹立威權。同年，廢帝司馬奕為海西公，改立司馬昱，即簡文帝，以大司馬專權。次年，簡文帝死，遺詔由太子司馬曜繼承皇位。這就是晉孝武帝。桓溫本來以為簡文帝會把皇位讓給他，聽到這個消息十分失望，就帶兵進了建康。桓溫到達建康那天，隨身帶的將士，都是全副盔甲，手裏拿著明晃晃的武器。朝廷官員到路邊去迎接時，看到這個情景，嚇得變了臉色。桓溫請王坦之、謝安到他官邸去會見，王、謝兩人早已聽說桓溫事前在客廳的背後埋伏一批武士，想殺掉他們。所以，王坦之到了相府，渾身出冷汗，連衣服都濕透了。謝安卻十分鎮靜。進了廳堂坐定之後，他對桓溫說：“我聽說自古以來，講道義的大將，總是把兵馬放在邊境去防備外兵入侵。桓公為什麼卻把兵士藏在壁後呢？”桓溫聽了，也有點不好意思，說：“我也是不能不防備點兒。”說著，就命令左右把後麵埋伏好的兵撤去。
桓溫看到建康的士族中反對他的勢力還不小，不敢輕易動手，希望朝廷賜其九錫的願望也沒能實現。兵權由其弟桓衝接掌。不久，就病死，終年六十二歲。桓溫死後，謝安擔任了宰相，桓溫的弟弟桓衝擔任荊州刺史，兩人同心協力輔佐晉孝武帝，東晉王朝出現了團結的氣氛。南郡公的爵位由幼子桓玄繼任。桓玄稱帝後，追封桓溫為宣武皇帝，廟號太祖。桓玄敗死後，桓溫的後代為躲避劉裕追殺，一部分降後秦，另一部分逃入苗中，成為南蠻。