太元元年（公元375年），謝安撮合，年已14的孝武帝大婚，娶晉陵太守王蘊女、王恭姐王法慧為妻，冊為正妃。王蘊祖籍也是晉陽，正是太原王氏，與已拜北中郎將、駐守廣陵的王坦之親出一支。至此，太原王氏內有皇後撐腰，外有子弟封疆，勢傾朝野，位望已極。琅琊王氏盛名仍在，實已大不如前。謝安又與王坦之結盟修好，嫁女於王坦之子王國寶為妻。桓溫死後的孝武帝朝，王謝二族一將一相，互為根節。其餘世族，皆在二家之下，便是盛極一時的龍亢桓氏，未必便敢公然與王謝反目。後人劉夢得詩道：“舊時王謝堂前燕，飛入尋常百姓家”，詩中“王謝”，道的當是二家真事。
褚太後見帝大婚，業已成年，掌控朝政的王謝二族，又是當年顧命幼帝的功臣，逐漸放心，便有隱退歸養之意。寧康三年（公元375年），褚太後還政孝武帝，隱退崇德宮熙養天年。孝武帝親政，改寧康三年為太元元年，仍以謝安為相參輔朝政。此時，氐秦皇帝苻堅經過三年多精心準備，集結北方百萬大軍，屯駐襄陽、順陽之北，虎視江南，隨時南犯。防守西線的桓衝兵力不濟，戰線吃緊。剛剛親政的孝武帝躊躇滿誌，決意大顯身手，幹出一番驚天偉業，當即封拜年方十一歲的同母弟司馬道子為驃騎大將軍，主政驃騎軍府大事；將桓衝從中軍將軍遷為車騎大將軍，專事西線防務；拜征西將軍桓豁為征西大將軍，協助桓衝防守西線；遷謝安為中書監，協調內外軍政大事；委任謝安選拔人才，招集南渡子弟，組建新軍，隨時聽調。
謝安受命，向孝武帝推薦家侄謝玄。大臣有人提醒孝武帝，謝安濫用相權，用人唯親。孝武帝身為天子，卻有一僻，乃是專好戲言，假話真說，以此逗樂，故將此語來戲謝安：“謝公秉持國事，任用家侄，不懼朕責卿任人唯親、奪了卿家爵祿富貴？”謝安正襟不亢：“苟利家國，何避內外？幼度（謝玄字）必不負陛下！”孝武帝納之，詔拜謝玄為廣陵相，赴江北組建新軍。
時北方地麵，已淪為胡人跑馬戰場。今日你為王，明日我稱帝，互相殺伐，征討不休。中原百姓不堪戰亂，相互結伴南來，追投正朔。人多舟少，不得竟渡，多阻於江北廣陵。順利渡江的，多在京口落腳。謝玄至廣陵，當即設下幕府，號稱“北府”，掛出募兵告示：“專招南來子弟，收複北地家園；家有一人投軍，送渡京口入戶。”北中郎將王坦之鼎力相助，為新軍采辦兵器糧馬。募兵符掛出，即有彭城劉牢之、晉陵孫無終、東海何謙、琅琊諸葛侃、樂安高衡、東平劉軌、西河田洛、新野何澹之等相繼投軍。不下半月，即招得新軍七八萬。謝玄一一錄用，渡送京口，編列新軍，稱北府兵。謝玄又於京口校馬場，興辦騎射賽會，選拔武將，量才錄用。劉牢之、孫無終脫穎而出。謝玄委以北府兵軍職，令督其本部，日事操訓。
人有旦夕禍福，天有不測風雲。王坦之忽染一疾，臥榻不起，湯藥針灸，不見良效，眼見得神迷智亂，日重一日。謝玄手足無措，無計可施。孫無終來見謝玄，獻上一策：“錢塘杜子恭，人稱杜天師，能測吉凶禍福，兼工符水湯藥，不如快馬往請，或可有救。”謝玄道：“速去速還，使君吉凶全在你身上！”孫無終覓得快馬，乘夜渡江馳往錢塘，十萬火急來請杜天師。豈料孫無終方走半日，王坦之病情轉重，須臾辭世，時年四十六。