孝武帝太元元年（371），氐族首領苻堅建立的前秦統一了北方，進而又企圖統一中國，調兵遣將，準備進攻東晉。東晉也加強了北方的防衛，調派朱序駐守襄陽。第二年，朝臣們商議再選一名良將鎮守廣陵，丞相謝安推薦了侄兒謝玄。謝玄被任命為兗州刺史，負責江北軍事工作，鎮守廣陵。謝安本人也受命監督五州軍事。
謝玄是謝安大哥謝奕的兒子，在謝安的子侄輩中才能最為傑出。當他還是十幾歲的少年時，謝安就常說他有軍國才略，將來能成大器。謝安隱居東山時，曾對謝玄悉心栽培，在他身上花了不少心血。謝玄也十分敬重叔父謝安，將叔父視為人生榜樣，亦步亦趨地向叔父學習。
謝安舉薦侄兒謝玄，朝野間議論紛紛。有人說這是任人唯親，有人說謝玄不過三十來歲，此前隻在大將軍桓溫帳下做過司馬，沒有獨當一麵的經驗，恐怕不能擔此重任。謝氏叔侄的政敵郗超卻不這麼看，他對眾人說：“謝玄必能成功。我過去曾與謝安同在桓大將軍府中，發現他總能根據手下人的才幹，給他們安排合適的工作，即使辦件小事，也從不馬虎。謝安知人善任，現在他既然不顧眾人反對，推薦謝玄，謝玄必能成功。”朝中還有一個叫韓康伯的人，跟謝玄沒什麼交情，卻也認為謝玄能打勝仗，理由是“謝玄好名”，必會為榮譽而戰。謝玄聽說後很生氣，曾經當著眾人厲聲說道：“大丈夫率領千軍萬馬上戰場，為的是國家社稷，豈是為了個人功名！”
謝玄上任後，第一件事就是依照叔父指示，在北方流亡到京口（今江蘇鎮江）一帶的民眾中招募驍勇之士，組建並訓練出一支精銳部隊，號稱“北府兵”。兩三年後，靠著這支軍隊，謝玄先後多次擊潰前秦軍隊的進攻，還收複了北方的一些失地。謝玄受到朝廷褒獎，封為“冠軍將軍”。
太元八年（383），苻堅動員全國力量，征調步兵六十萬、騎兵二十七萬，對外號稱百萬，對東晉發動了空前規模的進攻，準備決一死戰。苻堅讓弟弟苻融率領三十萬人做先鋒，自己率領大部隊做後應，於金秋八月，浩浩蕩蕩南下。大軍前後千裏，東西萬裏，旌旗相望，水陸並進，先頭部隊已經抵達前線，後續部隊有的還沒出發呢。苻堅得意洋洋地對部下們說：“東晉仗著有長江天險，長江算得了什麼！我們前秦軍隊每個士兵把馬鞭子扔到江裏，就能把它填平了！”
麵對來勢凶猛的敵人，東晉人心惶惶，急忙商量對策，決定由謝安為征討大都督，全權負責戰事。謝安又任命五弟謝石為元帥，具體指揮前線戰事，派侄子謝玄做先鋒，還有兒子謝琰、桓伊等人，總共率兵八萬，開赴前線。在這次敵我眾寡懸殊、關係東晉生死存亡的大戰中，謝安的“小兒輩”成為前線的主要將領，參戰軍隊則稱得上是謝氏的“子弟兵”了。對此，東晉一些富有軍事經驗的大臣十分擔心，覺得謝安的安排太草率，東晉亡國為時不遠了。
謝安卻鎮定自若，我行我素，說說笑笑，跟平常沒什麼兩樣。大軍出發的日期眼看就要到了，謝玄再也沉不住氣了，問叔父有什麼指示，這一仗應該怎麼打。謝安平平淡淡地說：“我自有安排。”接下來還是什麼動靜都沒有。謝玄猜不透叔父的葫蘆裏賣的什麼藥，不敢再問，心裏卻不踏實，就讓別人再去請示。謝安仍然什麼都不說，隻是吩咐手下準備車馬，請來很多親朋好友，一起到別墅遊玩。到了那裏，謝安拉著謝玄下圍棋，以別墅賭勝負，謝玄也不好推辭。謝玄的棋術一向比叔父高明，現在因為心事重重，壓力很大，所以連出錯招兒，雙方戰成平局。再下一盤，謝玄居然輸了，謝安回頭樂嗬嗬地跟外甥羊曇說：“贏來的別墅給你啦！”又笑著對謝玄說：“今天你可真是心不在焉啊，是不是一心以為鴻鵠將至啊？”“鴻鵠將至”是《孟子》中的一個典故：最善下棋的弈秋教兩人下棋，其中一人專心致誌，隻聽弈秋教導；另外一人耳朵雖然在聽，心裏卻想會有天鵝飛過來，總想拿弓箭去射。兩人雖然一起學習，後一個人的成績卻遠遠不如前一個人。兩人師從同一個老師，智力水平也很接近，差別隻在專不專心。謝安引用這個典故，謝玄是明白的，他忽然若有所悟：叔父這不是在暗示我要沉著冷靜、心不二用嗎？