及苻堅自率兵次於項城，眾號百萬，而涼州之師始達鹹陽，蜀漢順流，幽並係至。先遣苻融、慕容暐、張蠔、苻方等至潁口，梁成、王顯等屯洛澗。詔以玄為前鋒、都督徐兗青三州揚州之晉陵幽州之燕國諸軍事，與叔父征虜將軍石、從弟輔國將軍琰、西中郎將桓伊、龍驤將軍檀玄、建威將軍戴熙、揚武將軍陶隱等距之，眾凡八萬。玄先遣廣陵相劉牢之五千人直指洛澗，即斬梁成及成弟雲，步騎崩潰，爭赴淮水。牢之縱兵追之，生擒堅偽將梁他、王顯、梁悌、慕容屈氏等，收其軍實。堅進屯壽陽，列陣臨肥水，玄軍不得渡。玄使謂苻融曰：「君遠涉吾境，而臨水為陣，是不欲速戰。諸君稍卻，令將士得周旋，仆與諸君緩轡而觀之，不亦樂乎！」堅眾皆曰：「宜阻肥水，莫令得上。我眾彼寡，勢必萬全。」堅曰：「但卻軍，令得過，而我以鐵騎數十萬向水，逼而殺之。」融亦以為然，遂麾使卻陣，眾因亂不能止。於是玄與琰、伊等以精銳八千涉渡肥水。石軍距張蠔，小退。玄、琰仍進，決戰肥水南。堅中流矢，臨陣斬融。堅眾奔潰，自相蹈藉投水死者不可勝計，肥水為之不流。餘眾棄甲宵遁，聞風聲鶴唳，皆以為王師已至，草行露宿，重以饑凍，死者十七八。獲堅乘輿雲母車，儀服、器械、軍資、珍寶山積，牛馬驢騾駱駝十萬餘。詔遣殿中將軍慰勞。進號前將軍、假節，固讓不受。賜錢百萬，彩千匹。
既而安奏苻堅喪敗，宜乘其釁會，以玄為前鋒都督，率冠軍將軍桓石虔徑造渦潁，經略舊都。玄複率眾次於彭城，遣參軍劉襲攻堅兗州刺史張崇於鄄城，走之，使劉牢之守鄄城。兗州既平，玄患水道險澀，糧運艱難，用督護聞人奭謀，堰呂梁水，樹柵，立七埭為派，擁二岸之流，以利運漕，自此公私利便。又進伐青州，故謂之青州派。遣淮陵太守高素以三千人向廣固，降堅青州刺史苻朗。又進伐冀州，遣龍驤將軍劉牢之、濟北太守丁匡據碻磝，濟陽太守郭滿據滑台，奮武將軍顏雄渡河立營。堅子丕遣將桑據屯黎陽。玄命劉襲夜襲據，走之。丕惶遽欲降，玄許之。丕告饑，玄饋丕米二千斛。又遣晉陵太守滕恬之渡河守黎陽，三魏皆降。以兗、青、司、豫平，加玄都督徐、兗、青、司、冀、幽、並七州軍事。玄上疏以方平河北，幽冀宜須總督，司州縣遠，應統豫州。以勳封康樂縣公。玄請以先封東興侯賜兄子玩，詔聽之，更封玩豫寧伯。複遣寧遠將軍{夭曰}演伐申凱於魏郡，破之。玄欲令豫州刺史硃序鎮梁國，玄住彭城，北固河上，西援洛陽，內籓朝廷。朝議以征役既久，宜置戍而還，使玄還鎮淮陰，序鎮壽陽。會翟遼據黎陽反，執滕恬之，又泰山太守張願舉郡叛，河北騷動，玄自以處分失所，上疏送節，盡求解所職。詔慰勞，令且還鎮淮陰，以硃序代鎮彭城。
玄既還，遇疾，上疏解職，詔書不許。玄又自陳，既不堪攝職，慮有曠廢，詔又使移鎮東陽城。玄即路，於道疾篤，上疏曰：
臣以常人，才不佐世，忽蒙殊遇，不複自量，遂從戎政。驅馳十載，不辭鳴鏑之險，每有征事，輒請為軍鋒，由恩厚忘軀，甘死若生也。冀有毫厘，上報榮寵。天祚大晉，王威屢舉，實由陛下神武英斷，無思不服