練軍是1863年由麓前直隸總督、湘軍大蘩將劉長佑開始編練的。1863年，湘軍宿藤將劉長佑出任直隸總督，他奏請從綠營中挑選精壯，重新組練一支軍隊。其組織製度多仿效湘軍，由劉長佑從各鎮軍中挑選營官，由營官在他原來所轄的軍中挑選士兵，不足則到附近其他軍隊中挑選，五百人為一營，二千五百人為一軍。到1865年，戶部與兵部會議，選練直隸六支軍隊，定名“練軍”。但練兵之事常受戶部及京中嫉妒湘軍的官員的掣肘，而1867年劉長佑又被免職，所以成效不大。
到了曾國藩任直隸總督的時候，戰爭已經結束，財政狀況比過去稍稍好轉一些，而直隸在列強虎視眈眈的情形下，必須有得力的軍隊才行。在這種情形下，曾國藩較多地改革軍隊。曾國藩的辦法，仍是編練練軍，而不是振興綠營。在他的心目中，綠營的製度實在已經無法振興。
接任三個半月後，曾國藩初步了解了情況，提出三條建議：
第一條，叫“文法宜簡”。他在比較了湘軍和綠營兵的差別後說，湘軍勇丁“帕首短衣，樸誠耐苦，但講實際，不事虛文。營規隻有數條，此外別無文告。管轄隻論差事，不甚計較官階。而挖壕築壘刻日而告成，運米、搬柴崇朝而集事”。綠營兵則過分講求儀式禮節，好像不是軍隊而是官衙門。出征的時候，行軍要用官車，紮營要用民夫勞作，“油滑偷惰，積習使然”。先前所定的練軍規條有一百五十餘條之多，即使是讀書人也無法完全記住，導致“文法太繁，官氣太重”。這些都要參照勇營即湘軍的辦法加以改革，將條規簡化，做到簡明、易懂、易守，不要排場，不要官氣。
第二條，叫“事權宜專”。從前的練軍，仍然效仿綠營的辦法，統領經常更換。統領之下的營、哨各官，都是由總督指派而不是由統領選拔。統領沒有選拔和撤換下屬之權，沒有管理軍餉之權，一旦作戰，下屬都不肯用命。現在要像湘軍一樣，一營之權，全部交給營官，統領不遙製；一軍之權，全部交給統領，大帥不遙製。他說湘軍統領所以能夠發揮其才幹，就在於事權歸一，指揮縱橫如意，練軍就是要仿效這個辦法。
第三條，叫“情意宜恰”。曾國藩說，現在練軍士兵雖然離開他原綠營的隊伍，但是是否挑入練軍是由其原綠營的營官決定的，而不是練軍的營官挑選的。主持練軍的營官，沒有對士兵的提拔和黜革之權，上下隔閡，情意全不相連，當有緊急事變時就不可靠。還有，各營練軍有冒名頂替之弊，防不勝防。因為從前綠營軍餉較少，士兵常常要做小販或手藝謀生。練軍士兵調到別處訓練的練餉二兩四錢，在練營領取；而原綠營的底餉，仍在綠營本營領取。士兵便常常在練營附近雇人頂替，將練軍軍餉給冒名頂替的人。但是一有遠征，受雇的人不肯隨著遠征，於是再雇乞丐、貧民前往。這樣兵額一個，但人已三變，怎麼能打仗？今後將實行兩個辦法：一是一旦一個士兵挑入練軍，即將其原在綠營的名額裁去。練軍增一兵，綠營的營即少一兵；二是無論綠營底餉還是練餉，都在練軍發放，從根本上杜絕冒名頂替的情況。這樣做實際上是逐漸取消綠營。將來還要仿效湘軍的辦法，統領選營官，營宮選哨官，哨官選什長，什長選勇丁。
按照曾國藩擬訂的這三條，練軍的體製更接近湘淮軍了。
半年以後，同治八年八月二十七日（1869年10月2日），曾國藩又奏定按照湘軍的製度，為練軍設立長夫之製。每營練軍設長夫一百五十人，這一百五十人實際上就是輜重和後勤兵。每月拔營一次，實際就是我們今天說的軍事演習。拔營要行二三百裏，命士兵像實戰那樣修壘挖壕，不準像以前綠營那樣出行坐車。第二年四月（1870年5月），曾國藩又擬訂了《直隸練軍步隊營製》和《直隸練軍馬隊營製》，其中馬隊完全拋開綠營，從直隸省農民中選募。
由於經費並不充足，曾國藩最初隻能練三千餘人，三個統領中，兩個用當地軍官，一個用以前湘軍的軍官彭楚漢。
直隸練軍人數不多，但影響卻很大。在曾國藩的組織領導和籌劃之下，練軍的製度基本成型了，而其本質就是采用湘淮軍的製度。當時各省的綠營已不能再作為作戰部隊，這已是人所共見的事實，但是各省督撫苦於綠營是國家的“經製”之兵，不好裁撤，也不知如何改造。直隸編練練軍之後，各省紛紛仿效。於是同治朝以後，綠營逐漸消亡。另一方麵，鎮壓太平天國和撚軍的戰爭結束以後，湘淮軍及各省招募的勇營，除部分裁撤外，都駐防全國各要地，改稱為“防軍”。於是有清一代的八旗和綠營軍製，實際上已經消亡，這也許是曾國藩所始料不及的。曾國藩去世以後，防軍、練軍曾參加過兩次較大規模的反侵略戰爭，即中法戰爭和中日甲午戰爭。