為充實長江下遊的軍事力量，拱衛首都建康和抑製上遊桓氏勢力東山再起，抵禦前秦南下等，謝安打算成立新軍。孝武帝太元二年（377）十月，朝廷任命謝安侄子謝玄為南兗州刺史，負責籌組新軍。謝玄隨即把南兗州的軍事治理機關從京口（今江蘇鎮江市）移到廣陵（今江蘇揚州市），南徐、南兗兩州僑戶紛紛應征入伍。當時彭城（今江蘇徐州市）劉牢之等數人以驍勇應選，謝玄任命劉牢之為參軍，率領精銳作為前鋒。因為晉朝百姓稱京口為北京，所以當時人稱這支軍隊為“北府兵”。
清初王夫之關於北府兵有這樣的論述：“謝安任桓衝於荊、江，而別使謝玄監江北軍事，晉於是而有北府之兵，以重相權，以圖中原，一舉而兩得矣。”桓和謝是東晉四大門閥之二，所以兩者既有爭權奪利的衝突，也有維護士族階層權益的本能。從東晉政府整體的利益出發，謝安很好地處理了中央與地方藩鎮的關係，平衡了謝桓兩大家族的力量。
東晉所轄境土主要為荊、揚二州。荊州位居上遊，地廣兵強，是防止北方南下的重要據點，設有強有力的都督府，“資實兵甲，居朝廷之半”。揚州為京畿之所在，乃立國根本。三吳及浙東是穀帛的重要基地。但是“建鄴擁天子以為尊而力弱，荊襄挾重兵以為強而權輕”，這種“枝強幹弱”的局麵，就成為荊揚之爭的根源。
繼督荊州的桓衝把揚州的軍權讓給謝安，雙方互相協作，出現了“君臣和睦，上下同心”的局麵。麵對咄咄逼人的北方，謝安深知原來的世兵製軍隊腐敗不堪，根本對付不了前秦的軍隊，於是選派“有經國才略”的侄子謝玄為兗州刺史，監江北諸軍事，北鎮廣陵，組建北府兵。
北府兵組建後，首先遇到的是太元三年前秦向東晉發動的一場進攻。
其年二月，苻堅派征南大將軍苻丕帥步騎七萬進攻東晉在西線的軍事重鎮襄陽。為配合西線的進攻，七月，又遣兗州刺史彭超為都督東討諸軍事，與將領俱難、毛盛等帥步騎十萬進攻東晉的東線重鎮彭城、淮陰、盱眙。
次年二月，秦軍攻下襄陽，執晉將朱序。在東線，麵對秦的進攻，晉派萬餘北府兵援救彭城，軍於泗口，欲遣間使報沛郡太守（彭城）戴遁而不可得。時彭超置輜重於留城（彭城郡屬縣，今沛縣東南），謝玄揚言遣北府將何謙率軍襲取留城，彭超釋彭城圍還保輜重，東晉彭城太守戴遁隨何謙帥彭城之眾奔謝玄，彭超進據彭城，而南攻盱眙。俱難攻克淮陰。
四月，秦將毛當、王顯在攻拔襄陽後帥眾二萬東會俱難、彭超攻淮南。
五月，秦軍攻拔盱眙，執高密內史毛操之，秦兵六萬圍晉幽州刺史田洛於三阿（今江蘇寶應）。三阿距廣陵百裏，東晉朝廷大震，一麵沿江布防，遣征虜將軍謝石帥舟師屯塗中，右衛將軍毛安之等帥眾四萬屯堂邑（今南京六合）；另一麵派謝玄自廣陵率北府兵救援三阿。
六月，謝玄與田洛帥北府兵五萬敗秦軍於盱眙，秦軍退屯淮陰。玄遣北府將何謙帥舟師朔淮水而上，焚毀秦軍建造的淮橋，秦將邵保戰死，退屯淮北，謝玄與何謙、戴遁、田洛等乘勝追擊，再敗秦軍於君川（今盱眙縣北君山之川）。劉牢之等又破壞秦軍的運艦，秦將俱難、彭超僅以身免，秦軍在東線的進攻北謝玄組建不久的北府兵擊敗。
上述史實可以看出，謝玄先前馳援彭城的北府兵僅萬餘人，而用於君川，最高數卻達到五萬，說明北府兵是在戰鬥中彙入各支力量而發展的。
北府兵最大的戰爭是太元八年（383）淝水之戰，我們後麵還會講到。