鹹安二年（372），即位不到一年的簡文帝就在憂懼中死去，太子司馬曜即位，是為孝武帝。原來滿心期待著簡文帝臨終前會把皇位禪讓給自己的桓溫大失所望，便以進京祭奠簡文帝為由，於寧康元年（373）二月率軍來到建康城外，準備殺大臣以立成。他在新亭預先埋伏了兵士，下令召見謝安和王坦之。
當時，京城內人心惶惶，王坦之非常害怕，問謝安怎麼辦。謝安神情坦然地說：「晉祚存亡，在此一行。」王坦之硬著頭皮與謝安一起出城來到桓溫營帳，緊張得汗流浹背，把衣衫都沾濕了，手中的朝板也拿顛倒了。謝安卻從容不迫地就座，然後神色自若地對桓溫說：「我聽說有道的諸侯設守在四方，明公何必在幕後埋伏士卒呢？」桓溫隻得尷尬地下令撤除了埋伏。由於謝安的機智和鎮定，桓溫始終沒敢對二人下手，不久就退回了姑孰。迫在眉睫的危機，被謝安從容化解了。
同年三月，桓溫得了重病。在返回姑孰之後，病情日益加重。但他還在幻想著能得到加九錫的殊榮，不斷派人催促。謝安故意拖延，對已經起草好的詔書一再加以修改，遲遲不予頒發。桓溫終於沒有如願，抱憾而死。
桓溫死後，謝安被任命為尚書仆射兼吏部尚書，與尚書令王彪之一起執掌朝政。數月後，中書令王坦之出任徐州刺史，謝安又兼總中書省，實際上總攬了東晉的朝政。為了緩和矛盾、穩定政局，謝安實行了著眼於長遠，以和諧安定為重的執政方針。他沒有趁桓溫病死的機會翦除桓氏集團，仍然信任和重用桓溫的弟弟桓衝，讓他擔任都督徐、豫、兗、青、揚五州諸軍事和徐州刺史，負責鎮守京口，後來又轉為都督七州諸軍事，兼任荊州刺史。桓衝也深明大義，認為自己的德望不及謝安，心甘情願地以鎮守四方為己任。將相關係的協調，促進了政局的穩定。當時人讚揚謝安，將他比作王導，而文雅則更勝一籌。
內部安定之後，謝安又把注意力轉向對付來自北方的威脅。當時，前秦在苻堅的治理下日益強盛，東晉軍隊在與前秦的交戰中屢遭敗績。謝安派自己的弟弟謝石、侄子謝玄率軍征討，接連取得勝利。又命謝玄訓練出戰鬥力很強的北府兵，為抗擊前秦作好了準備。名言：
“晉祚存亡，在此一行。”
“小兒輩大破賊。”
“可將當軸，了其此處。”
“見之乃不使人厭，然出戶去，不複使人思。”
“天地無知，使伯道無兒。”
“顧長康畫，有蒼生來所無。”
太元八年（383），苻堅率領著號稱百萬的大軍南下，誌在吞滅東晉，統一天下。軍情危急，建康一片震恐。謝安依然是那樣鎮定自若，以征討大都督的身分負責軍事，並派了謝石、謝玄、謝琰和桓伊等人率兵八萬前去抵禦。桓衝擔心建康的安危，派精銳三千前來協助保衛京師，被謝安拒絕了。謝玄心中忐忑，臨行前向謝安詢問對策，他隻回答了一句：「我已經安排好了。」便絕口不談軍事。謝玄心中還是沒底，又讓張玄去打聽。謝安仍然閉口不談軍事，卻拖著他下圍棋。張玄的棋藝本來遠在謝安之上，但此時兵臨晉境，張玄沉不住氣，謝安則神氣安然，結果張玄輸在謝安的手裏。
當晉軍在淝水之戰中大敗前秦的捷報送到時，謝安正在與客人下棋。他看完捷報，便放在座位旁，不動聲色地繼續下棋。客人憋不住問他，謝安淡淡地說：「沒甚麼，孩子們已經打敗敵人了。」直到下完了棋，客人告辭以後，謝安才抑製不住心頭的喜悅，舞躍入室，把木屐底上的屐齒都碰斷了。
淝水之戰的勝利，使謝安的聲望達到了頂點，但也因此而遭到了喜歡專權的會稽王）提出由自己率軍出鎮廣陵的步丘，修築了新城（今江蘇揚州邵伯鎮），名義上是準備援助前秦，實際上是想脫離建康這個是非之地。他著手建造泛海的船隻，準備從海道返回會稽。但他不久就患了重病，隻得請求返回建康治病休養。然而他回到建康隻有幾天，就溘然病逝了，重回東山的心願未能實現。死後追封太傅兼廬陵郡公。世稱謝太傅、謝安石、謝相、謝公。
§§第四章隋唐宋名臣