謝玄，字幼度。年少時便聰慧過人，與堂兄謝朗皆為叔父謝安所器重。謝安曾訓誡約束子侄們，說：“你們怎樣參與世事，而且做得讓人滿意？”眾子侄都不知如何回答。謝玄答道：“譬如芝蘭玉樹，我會盡力使它們生長在自家的堂前階下。”謝安十分高興。謝玄年少時喜歡佩帶紫羅香囊，謝安為此憂慮，而又不想傷害謝玄的心，便采用賭博的方式贏得香囊，立即焚毀，自此謝玄就戒掉了這一嗜好。
年長後，有治國才略，朝廷屢次征召而不應。後來與王王旬一同被桓溫召為屬官，並受到禮遇和器重。轉任征西將軍桓豁司馬、領南郡相、監北征諸軍事。當時前秦苻堅強大，多次侵犯東晉邊境，東晉朝廷尋求可以鎮守北方邊境的文武良將，謝安便舉薦了謝玄。中書郎郗超素來與謝玄不和，聞知此事卻加以讚歎，說：“謝安不顧眾人指責而舉薦親屬，是明智的。謝玄必定不辜負舉薦，因為他確有才幹。”當時眾人都不以為然。郗超說：“我曾與謝玄在桓公府裏共事，見他施展才能，即使在穿著木屐時也能幹大事，所以了解他。”於是謝玄被召回朝，任命為建武將軍、兗州刺史、領廣陵相、監江北諸軍事。
其時苻堅派兵圍攻襄陽，車騎將軍桓衝率軍抵抗。朝廷詔令謝玄征發三州人丁，派彭城內史何謙率兵在淮水、泗水間流動作戰，以減輕襄陽的威脅。襄陽陷落後，苻堅部將彭超進攻據守彭城的龍驤將軍戴逯。謝玄率東莞太守高衡、後軍將軍何謙駐紮在泗口，打算派使者伺機報知戴逯，好讓他知道救兵已到，可是無法通過敵兵防線。小將田泓請求前往，於是田泓潛水而行，將至彭城時，被敵兵抓獲。敵兵厚禮賄賂田泓，讓他向城內喊話，說“援軍已敗”。田泓假意應許。不久來到彭城外，向城內大喊道：“救兵已到，我獨自來送消息，被賊兵抓獲，你們努力吧！”於是田泓遇害。當時彭超把輜重安置在留城，謝玄便揚言派何謙等人去攻打留城。彭超聽說，急忙回留城保護輜重。何謙乘勢猛攻，解除了彭城之圍。
彭超又率部南侵，苻堅部將句難、毛當從襄陽趕來與彭超會合。彭超將幽州刺史田洛圍困在三阿，兵力有六萬。東晉朝廷詔令征虜將軍謝石率水軍進駐塗中，右衛將軍毛安之、遊擊將軍河間王司馬曇之、淮南太守楊廣、宣城內史丘準進駐堂邑。不久盱眙城陷落，高密內史毛藻戰死，毛安之等大驚失色，便各自率部回撤，朝廷為之震動。謝玄於是從廣陵向西進軍討伐句難等。
何謙解除田洛之圍，進軍占據白馬，與賊軍大戰，擊潰賊軍，斬殺偽將都顏。又乘勝進攻，再次擊敗賊軍，斬殺偽將邵保。彭超、句難率部潰退。謝玄率何謙、戴、田洛乘勢追擊，與賊軍戰於君川，又大敗賊軍。謝玄屬下參軍劉牢之破毀賊軍浮橋及戰船，督護諸葛侃、單父縣令李都又破毀賊軍運輸船隻。句難等相繼率殘部北逃，僅以隻身逃脫。於是東晉完全解除了前秦軍隊對彭城、下邳二城的威脅。朝廷詔令殿中將軍前往慰勞謝玄，封謝玄為冠軍將軍，兼徐州刺史，回鎮廣陵，論功封為東興縣侯。
後苻堅親率大軍進駐項城，號稱百萬，而涼州之師剛剛抵達鹹陽，蜀漢之軍順流而下，幽州並州之軍接踵而來。苻堅先派苻融、慕容日韋、張蠔、苻方等進至潁口，梁成、王顯等駐紮洛澗。朝廷詔令謝玄為前鋒、都督徐兗青三州揚州之晉陵幽州之燕國諸軍事，與叔父征虜將軍謝石、堂弟輔國將軍謝琰、西中郎將桓伊、龍驤將軍檀玄、建威將軍戴熙、揚武將軍陶隱等迎戰，共八萬之眾。
謝玄先派廣陵相劉牢之率五千精兵直搗洛澗，臨陣斬殺梁成及梁成之弟梁雲，敵步兵騎兵全線崩潰，爭渡淮水。劉牢之率兵猛追，活捉苻堅部將梁他、王顯、梁悌、慕容屈氏等，繳獲其軍械糧草。苻堅進駐壽陽，麵臨淝水列陣，謝玄軍馬無法渡水。
謝玄派人對苻融說：“足下遠道來我晉地，而臨水列陣，這是不打算速戰速決。請諸位稍稍後撤一步，好讓我方將士有一塊周旋之地，鄙人與諸君騎馬緩步從容觀賞士卒渡水，難道不快樂嗎？”
苻堅的部從都說：“應當封鎖淝水，不讓晉軍上岸。敵寡我眾，一定要掌握萬全之局勢。”苻堅說：“隻管後撤一步，讓晉軍渡水，我軍可以乘機以數十萬鐵騎殺向淝水，一舉殲滅晉軍。”苻融也以為然，便命令士卒後撤，一後撤軍心慌亂無法控製。於是謝玄與謝琰、桓伊等率八千精銳士卒渡過淝水。