怎樣訓練、充實直隸的軍隊呢？
曾國藩先要借重的是淮軍。
曾國藩認為，淮軍中最好的將領就是劉銘傳，其所率銘軍的戰鬥力也是淮軍中最強的。因此，他要用劉銘傳所部銘軍一萬多人拱衛京師。當時劉銘傳因為朝廷對剿撚戰功的獎賞不公，憤而告病在家，清政府中有人主張戰事既已結束，應將勇兵包括劉銘傳所部全部裁撤；有的人主張另派統領。曾國藩堅持不另派統領，不裁撤銘軍，暫由劉銘傳部下劉盛藻統帶。 但是劉銘傳一軍隻有一萬多人，實力尚覺不足，曾國藩認為至少還需要一萬人。這一萬人的軍隊不能再靠湘淮軍，須另外訓練軍隊，這就是從綠營中抽調出來的練軍。
練軍是1863年由前直隸總督、湘軍大將劉長佑開始編練的。
1863年，湘軍宿將劉長佑出任直隸總督，他奏請從綠營中挑選精壯，重新組練一支軍隊。其組織製度多仿效湘軍，由劉長佑從各鎮軍中挑選營官，由營官在他原來所轄的軍中挑選士兵，不足則到附近其他軍隊中挑選，五百人為一營，二千五百人為一軍。到1865年，戶部與兵部會議，選練直隸六支軍隊，定名“練軍”。但練兵之事常受戶部及京中忌妒湘軍的官員的掣肘，而1867年劉長佑又被免職，所以成效不大。
到了曾國藩任直隸總督的時候，戰爭已經結束，財政狀況比過去稍稍好轉一些，而直隸由海入京通道，列強虎視眈眈的情形下，必須有得力的軍隊才行，在這種情形下，曾國藩有可能較多地改革軍隊。曾國藩的辦法，仍是編練練軍，而不是振興綠營，在他的心目中，綠營的製度實在已經無法振興。
接任三個半月後，曾國藩初步了解了情況，提出三條建議：
第一條，叫“文法宜簡”。他比較湘軍和綠營兵的差別說，湘軍勇丁“帕首短衣，樸誠耐苦，但講實際，不事虛文。營規隻有數條，此外別無文告。管轄隻論差事，不堪計較官階。而挖濠築壘刻日而告成，運米、搬柴崇朝而集事”。綠營兵則過分講求儀式禮節，好象不是軍隊而是官衙門。出征的時候，行軍要用官車，紮營要用民夫勞作，“油滑偷惰，積習使然”。先前所定的練軍規條有一百五十餘條之多，即使是讀書人也無法完全記住，導致“文法太繁”，官氣太重”。這些都要參照勇營即湘軍的辦法加以改革，將條規簡化，做到簡明、易懂、易守，不要排場，不要官氣。
第二條，叫“事權宜專”。從前的練軍，仍然效仿綠營的辦法，統領經常更換，統領之下的營、哨各官，都是由總督指派而不是由統領選拔。統領沒有選拔和撤換下屬之權，沒有管理軍餉之權，一旦作戰，下屬不肯用命。現在要像湘軍一樣，一營之權，全部交給營官，統領不遙製；一軍之權，全部交給統領，大帥不遙製。他說湘軍統領所以能夠發揮其才幹，就在於事權歸一，指揮縱橫如意，練軍就是要仿效這個辦法。
第三條，叫“情意宜恰”。曾國藩說，現在練軍士兵離開他綠營的隊伍，但是是否挑入練軍是由其原綠營的營官主持的，而不是練軍的營官挑選的。主持練軍的營官，沒有對士兵的提拔和黜革之權，上下隔閡，情意全不相連，當有緊急事變時就不可靠。還有，各營練軍，有冒名頂替之弊，防不勝防。因為從前綠營軍餉較少，士兵常常要做小販或手藝謀生。練軍士兵調到別處訓練的練餉二兩四錢，在練營領取；而原綠營的底餉，仍在綠營本營領取。士兵便常常在練營附近雇人頂替，將練軍軍餉，給冒名頂替的人。但是一有遠征，受雇的人不肯隨著遠征，於是再雇乞丐、貧民前往。這樣兵額一個，但人已三變，怎麼能打仗？今後將實行兩個辦法：一是一旦一個士兵挑入練軍，即將其原在綠營的名額裁去，練軍增一兵，綠營底營即少一兵，二是無論綠營底餉還是練餉，都在練軍發放，根本杜絕冒名頂替。這樣做實際上是逐漸取消綠營。將來還要仿效湘軍的辦法，統領選營官，營官選哨官，哨官選什長，什長選勇丁。
按照曾國藩擬訂的這三條，練軍的體製更接近湘淮軍了。
半年以後，八月二十七日（1869年10月2日），曾國藩又奏定按照湘軍的製度，為練軍設立長夫之製。每營練軍設長夫一百五十人，這一百五十人實際上就是輜重和後勤兵。每月拔營一次，實際就是我們今天說的軍事演習。拔營要行二三百裏，命士兵像實戰那樣修壘挖濠，不準像以前綠營那樣出行坐車。第二年四月（1870年5月），曾國藩又擬訂了《直隸練軍步隊營製》和《直隸練軍馬隊營製》，其中馬隊完全拋開綠營，從直隸省農民中選募。
由於經費並不充足，曾國藩最初隻能練三千餘人，三個統領，兩個用當地軍官，一個用以前湘軍的軍官彭楚漢。
直隸練軍的人數不多，但影響卻很大。在曾國藩的組織領導和籌劃之下，練軍的製度基本成型了，而其本質的變化，就是采用湘淮軍的製度。當時各省的綠營已不能再作為作戰部隊，這已是人所共見的事實，但是各省督撫苦於綠營是國家的“經製”之兵，不好裁撤，也不知如何改造。直隸編練練軍之後，各省紛紛仿效，於是同治朝以後，綠營逐漸消亡。另一方麵，鎮壓太平天國和撚軍的戰爭結束以後，湘淮軍及各省招募的勇營，除部分裁撤外，都駐防全國各要地，改稱為“防軍”。於是有清一代的八旗和綠營軍製，實際上已經消亡，這也許是曾國藩所始料不及的。曾國藩去世以後，防軍、練軍曾參加過兩次較大規模的反侵略戰爭，即中法戰爭和中日甲午戰爭。有關軍製的變革，本書後麵講到曾國藩的影響時還要作係統介紹。
三、清理積案，整肅吏治
直隸的吏治和積獄（即積壓未審理的民事刑事案件）問題，在曾國藩請訓時的奏折中列為第二項。這是一而二，二而一的問題。多年來，由於吏治腐敗，再加上連年戰爭，民事刑事案件無人處理，到同治八年（1869年3月）舊曆三月底止，積壓的同治七年以前的案件竟達一萬二千餘件。保定府衙，僅由朝廷交下來處理的重大京控（即直接上告到京師大理寺、刑部、都察院等衙門的案件，這些案件一般都發回當時的省份處理）案件也達一百三十餘件。可見案件積壓之多，實在是驚人。曾國藩在來直隸的途中，就留心考察了直隸的吏治，他在奏折中說：“臣入境以後略詢民間疾苦，大約積獄太多，羈累無辜。聞有州縣在任年餘，未曾升堂一次，訊詰一案者。又因連年用兵，差徭甚重，大戶則勒派車馬，供支柴草；小戶則攤派錢文，擄充長夫。劣紳勾通書役，因緣訛索車輛，有出而無歸。貧戶十室而九逃。”曾國藩打算一改在江南實行的寬厚政策，對官吏嚴格管理，他說直隸官場“風氣之壞，竟為各省所未聞”，因此，他打算到任後大力整頓吏治，並告訴朝廷，對不法官吏，他要大加參劾。
曾國藩的第一步，是立即頒布《直隸清訟事宜十條》及《直隸清訟限期功過章程》，這距他接印視事，僅有一個月時間。前者是曾國藩親自撰寫，後者由按察使張樹聲撰寫，由曾國藩複核。在曾國藩的時代，中國地方上沒有專職的司法審判人員，府、州、縣都由地方官負責審判；省一級雖有按察使（又叫臬司）負責刑名案件，但他還要兼管驛傳，並且按察使也不是職業法官，因為他今天是按察使，明天可能轉任布政使等與司法沒有關係的職務，完全脫離審判，反過來，他以前擔任的職務也可能與司法毫無關係。所以，刑名案件地方官從縣、州直至總督、巡撫的重要職責之一，也是衡量地方官政績的標準之一，同時，它又與百姓的利益、社會的穩定有密切的關係。這也是曾國藩要花大氣力整頓積案和吏治的原因。
《直隸清訟事宜十條》規定：
第一，通省大小衙門公文宜速。曾國藩說，現在軍務已過，一定要“力挽積習，與諸君子舍舊圖新”，“通省上下皆以勤字為本”。凡是上司要下屬查明或辦理的事，都要明定期限，違限記過，凡小過達到六次，大過達到三次，就要撤差撤官。
第二，首先整頓保定府發審局。保定為首府，起著全省的表率作用，因此率先整頓。曾國藩要求不準受賄，更不準勒索；審案必須盡速，不得拖延。
第三，要求州縣官必須親自接案審案，不得聽信幕友丁書。他說不能要求地方官人人都有大才幹，但隻要以勤字為本、事事躬親，就可以算是好官。直隸向來逢三日、八日老百姓告狀之期，地方官從不親自受理，而是由典史、門丁收訴訟狀，積壓多日，地方官根本不過目，全由幕友負責，甚至地方官還不知道狀告的是何事。有時甚至拖得原告被告兩家精疲力竭、傾家蕩產，已不想再打官司了，然而求收回訴訟卻又做不到。這種現象必須杜絕。
第四，禁止濫傳被告、濫押證人。從前差役逢到辦案時，盡量把多的人拉入案內，並且管押起來，可以乘機勒索。曾國藩規定，凡管押（實際就是今天說的拘留，但當時連證人也管押）之人，必須掛牌明示，如未懸牌，或牌上人數與實際管押人數不符，家屬可以喊冤，總督還要派人密查，如果發生此類事情，將記過嚴懲。
第五，嚴禁差役勒索。
第六，每月必須將審案、監禁、管押、逃犯等情形上報。
第七，嚴治盜賊以弭隱患。
第八，訟案久懸不結核明注銷，這主要針對鄉民往往因小事而誣告之風而言。
第九，分別皂白嚴辦誣告訟棍。
第十，獎借人才變易風俗。
《直隸清訟限期功過章程》則對官員清理積案的功過，規定明確細致的賞罰條例。 我們看到曾國藩這些規定和要求非常詳盡、細致、具體、周到，這與他當年做京官時，曾署刑部侍郎，對刑獄審判問題有相當的研究和經驗有關。
曾國藩的第二步，是奏留原任直隸按察使、朝廷要將其調到山西任按察使的張樹聲，以便協助他清理積案。張樹聲原是李鴻章的淮軍將領，當淮軍組建時，曾國藩對其就非常賞識，此時張樹聲已經當了四年直隸按察使，對直隸的情形及刑名案件較比熟悉，曾國藩說，自己年紀較大，精力有限，希望讓張再留直隸一年，可以將積案清結。朝廷準許他的要求。張樹聲果然不負曾國藩所望，為清理直隸積案作出了不少努力。一年多以後，張調山西布政使，再過一年，即升任江蘇巡撫，以後又升任總督。
曾國藩的第三步，是身體力行，親自處理案件。
1869年的曾國藩，已經59虛歲，按當時人的壽命，他已是一個標準的老人。歐陽夫人雙眼隻能看見光亮，但看不清人和物，已算基本失明。曾國藩的身體和精力也是越來越差，但既然為官，就需要好好辦事。而他早年那種澄清天下的誌向，並沒有完全消逝。而且作為地方長官，要求下屬做到的，地方首長必須首先做到，起到表率作用，否則下屬必然是陽奉陰違。所以，對重大的、疑難的案件，曾國藩常常需要親自處理。這些事件非常繁瑣，然而麵對許多人命關天的事情，卻又必須認認真真辦理，所以累得腰酸腿疼頭痛，以至晚上入睡都困難，自是經常的事。曾國藩的日記裏記下的這類事情很多，同治八年三月初八日晚上，他仔細閱讀一則案件，覺得其中判絞刑但緩刑的犯人張世沅，罪行較重，應該改為立即執行，當時的說法，叫“由緩改實”，在日記中，他說自己對此事“沉吟良久”，然後寫一封信與按察使商量，可見關乎人命的事，他相當慎重。在家書中，他曾幾次告訴兒子曾紀澤，一次是接印半個月後：“吾自初二接印，至今半月，公事較之江督任內多至三倍。無要緊者，皆刑名案件，與六部例稿相似，竟日無片刻讀書之暇。做官如此，真味同嚼蠟矣。”接印一個月後又說：“餘近日所治之事，刑名居其大半。竟日披閱公牘，無複讀書之暇。” 除了自己親自花大量時間和精力處理這些案件外，還委派可靠的人員，到各地明察暗訪，對辦案草率，漫不經心，甚至勒索和受賄的官吏，立即予以處分。經過整整一年的艱苦努力，多年的積案終於清理完畢。到同治九年二月初二日，也就是曾國藩接直隸總督印一年後，曾國藩奏報說，已經結清了同治七年（1868）以前的舊案12074件，同治八年以來的新案28121件；現在舊案隻剩95件，新案隻剩2940件。在清理積案的過程中，有不少官員出了力，也有些官員懶惰或辦事不力。對於辦事得力的當然要獎勵，積案清完，曾國藩奏請獎勵的官員有29名，其中有的加銜三級。對於貪汙腐敗、草菅人命，或不勝任職務的官員，曾國藩在1869年一年之內彈劾了19人。