太元元年（公元376年），孝武帝司馬曜親政後，任命謝安為中書令，錄尚書事；第二年又加授他為侍中，都督揚、豫、徐、兗，青五州諸軍事。謝安掌起了東晉的軍政大權。雖然外姓篡權的危機已經過去，但東晉政權仍舊麵臨著嚴重的內憂外患。內部皇族與世家大族之間的矛盾、世家大族互相之間的矛盾從來就沒有消失過；外部卻又受到了日益強大，業已統一了北方的前秦的威脅。真可謂是一波未平，一波又起。
在這種形勢下，謝安積極奉行王導緩和士族矛盾，穩定政局的政策，同時奉行“鎮以和靖，禦以長算，不存小察，弘以大綱”的方針，團結異己，共同維護晉室。為此，他很注意搞好同桓氏家族之間的關係。桓溫死後，謝安不僅沒有打擊排抑桓氏家族，還讓桓溫的弟弟桓衝接替了他哥哥的權位；讓另一個弟弟桓豁做荊州刺史，主持長江中遊的軍事。桓豁死後，他又讓桓衝從長江下遊移鎮荊州。公元379年，襄陽被前秦苻堅攻陷後，桓衝因戰守無方，引咎辭職。謝安也未懲辦他，仍讓他繼續領兵扼守中遊。他不計前嫌，寬宏大量的胸懷深深感化了桓氏兄弟。當桓溫的黨羽曾一度鼓動桓衝伺機誅殺謝安，專斷朝政的時候，桓衝不但沒有采納，反而自以為德望不及謝安，而忠心聽命於安石的調遣，效命於朝廷。謝安對桓氏的寬懷大度，對團結其他士族，共同維護晉室，起了積極的作用。
除了均衡士族勢力，化解集團矛盾之外，謝安作為宰相，還特別注意選拔英才，進行製度改革。在他選拔的優秀人才之中，有文才、有武將，最有代表性的莫過於謝玄，桓伊、徐邈、範寧四人。他用人唯才，不避親故。最初當朝廷下詔尋覓能鎮守北方、抵禦前秦的文武良將的時候，謝安認為他的侄子謝玄就有“經國才略”，足以擔當重任，於是推舉了他。中書郎郗超為人奸詐，平日與謝氏關係不好，但當他聽說謝安保舉了謝玄，也不由地感歎：“謝安能違眾舉親，真是明達；謝玄有真才實幹，肯定不會辜負他的推舉。”
後來謝玄果真在戰場上頻頻告捷，並成為淝水之戰的重要功臣。他的成功是與叔父謝安平日以家教方式培養人才又委以重任分不開的。
自古以來，戰爭帶給百姓的似乎隻有苦難，但東晉在備戰前秦之際，卻在宰相謝安的主持下采取了一係列減輕百姓負擔的措施，同時進行了製度上的改革。在他執政後，每遇水旱災害，朝廷必會減免租稅，或除一年租布，或除半年租布；或賜窮苦百姓五斛米，或除去逋租宿債。太元四年（公元379年）還下令禦供從儉、百官俸祿減半，停止一切非軍國要事的差役和費用。其中在太元元年（公元376年）和六年（381年）進行了最重要的兩次改革。第一次解除“度田收租製”：王公以下，每口人交米稅三斛，解除勞役；第二次改製度，減煩費，削減吏士700人。這兩次改革受到時人的歡迎和後人的好評。王夫之就認為此是“均貧富之善術，利在長久而民自得”。通過改革，不僅減輕了人民的負擔，而且集中了國家的物力財力，有利於做好禦敵準備。
為了抵禦前秦的進攻，謝安還進行了積極的軍事準備。他派謝玄鎮守廣陵（今江蘇揚州），在南遷士族和民眾之中選拔精壯組成了勇猛善戰的“北府兵”，並以劉牢之等為將領。他們進可攻，退可守，以逸待勞，在長江北岸緊緊守衛著京師大門。另外建立僑郡、僑州，平時務農以充軍糧，閑時習武，組成了軍事後備力量。這些人一部分守衛莊寨，一部分拱衛京城，在長江以南隨時做好禦敵準備。此外，桓衝在長江中遊駐守，防止前秦從中線南下。這就形成了京師、廣陵、夏口的犄角之勢，謝安自己坐鎮京師，遙控全局。正因為他事先已做了精心的部署，所以在後來戰火燃起，情勢危急的時候才能臨危不懼、處變不驚。也正是這樣，他把自己個性魅力中的名士風度與儒將氣質完美地結合在了一起。
由於謝安的正確決策和精心治理，東晉出現了空前穩定的局麵，甚至連前秦的有識之士也不得不承認，東晉雖然衰微，但不曾“喪德”，君臣和睦，上下同心，謝安、桓衝是江南的偉才、東晉的能人。