正當曾國藩大力興辦洋務事業，並努力恢複因戰亂而殘破的江南經濟的時候，1868年9月13日（同治七年七月二十七日），曾國藩接到上諭，命他任直隸總督。
整個清代，直隸總督負有拱衛京師的責任，因此除了特殊的情形如對西北用兵、對太平天國用兵外，直隸總督一直是最重要的地方官；其次才是掌握最富庶的江南、供應朝廷財政需求的兩江總督。
曾國藩交代完兩江督任內各事後，12月17日才登舟北上。
1869年1月25日，曾國藩抵達京師。自1852年離開都門，到現在已整整17年過去了。這17年風雨滄桑，曾國藩自身已經發生了巨大的變化，中國的變化更是巨大。京城裏麵，過去熟悉的麵孔好多已經不見了，鹹豐皇帝已死，新皇帝年紀尚幼。當年的軍機大臣已沒有一個在位。當初對他有恩的軍機大臣、大學士穆彰阿，在鹹豐帝即位後被罷免，現在也已死去十多年了。1月26日，曾國藩朝見了兩宮皇太後。而實際掌握朝廷大權的，是三十剛出頭的慈禧太後。曾國藩在日記中詳細記下了召見的過程：
巳正叫起，奕公山帶領餘入養心殿之東間。皇上向西坐，皇太後在後黃幔之內，慈安太後在南，慈禧太後在北。餘入門，跪奏稱臣曾某恭請聖安，旋免冠叩頭，奏稱臣曾某叩謝天恩。畢，起行數步，跪於墊上。
太後問：“汝在江南事都辦完了？”
對：“辦完了。”
問：“勇都撤完了？”
問：“都撤完了。”
問：“遣撤幾多勇？”
對：“撤的二萬人，留的尚有三萬。”
問：“何處人多？”
對：“安徽人多。湖南人也有些，不過數千。安徽人極多。”
問：“你一路來可安靜？”
對：“路上很安靜。先恐有遊勇滋事，卻倒平安無事。”
問：“你出京多少年了？”
對：“臣出京十七年了。”
問：“你帶兵多少年？？
對：“從前總是帶兵，這兩年蒙皇上恩典，在江南作官。”
問：“曾國荃是你胞弟？”
對：“是臣胞弟。”
問：“你兄弟幾個？”
對：“臣兄弟五個。有兩個在軍營死的，曾蒙皇上非常天恩。”碰頭。
問：“你從前在京，直隸的事自然知道。”
對：“直隸的事，臣也曉得些。”
問：“直隸甚是空虛，你須好好練兵。”
1月27日，又在養心殿召見，曾國藩記述：
皇太後問：“你造了幾個輪船？”
對：“造了一個，第二個現在方造未畢。”
問：“有洋匠否？”
對：“洋匠不過六七個，中國匠人甚多。”
問：“洋匠是哪國的？”
對：“法國的。英國也有。”
問：“你的病好了？”
對：“好了些。前年在周家口很病，去年七八月便好些。”
1月27日，第三次召見。曾國藩記述道：
皇太後問：“你此次來，帶將官否？”
對：“帶了一個。”
問：“叫什麼名字？”
對：“叫王慶衍。”
問：“他是什麼官？”
對：“記名提督，他是鮑超的部將。”
問：“你這些年見得好將多否？”
對：“好將倒也不少，多隆阿就是極好的，有勇有謀，此人可惜了。鮑超也很好，勇多謀少。塔齊布甚好，死得太早。羅澤南是好的，楊嶽斌（楊載福）也好，目下的將材就要算劉銘傳、劉鬆山。”每說一名，伯王（即僧格林沁之子，負責帶大臣入見皇帝和太後——著者注）在旁疊說一次。太後問水師的將。對：“水師現無良將。長江提督黃翼升、江蘇提督李朝斌俱尚可用，但是二等人才？”
問：“楊兵斌他是水師的將，陸路何如？”
對：“楊嶽斌長於水師，陸路調度差些。”
問：“鮑超的病好了不？他現在在哪裏？”
對：“聽說病好些。他在四川夔州府住。”
問：“鮑超的舊部撤了否？”
對：“全撤了。本存八九千人，今年四月撤了五千，八、九月間臣調直隸時，恐怕滋事，又將此四千全行撤了。皇上如要用鮑超，尚可再招得的。”
問：“你幾時到任？”
對：“臣離京多年，擬在京過年，朝賀元旦，正月再行到任。”
問：“直隸空虛，地方是要緊的，你須好好練兵。吏治也極廢弛，你須認真整頓。”
對：：“臣也知直隸要緊，天津海口尤為要緊。如今外國雖和好，也是要防備的。臣要去時總是先講練兵，吏治也該整頓，但是臣的精力現在不好，不能多說話，不能多見屬員。這兩年在江南見屬員太少，臣心甚是抱愧。”
太後說：“你實心實意去辦。有好將盡管往這裏調。”
餘對：“遵旨，竭力去辦，但恐辦不好。”
太後說：“盡心竭力，沒有辦不好的。”
從這三次召見來看，除了平常的問候外，太後的用意，很明顯表露出來，是要曾國藩利用他練湘軍的經驗，在直隸練好軍隊。在第二次鴉片戰爭中，英法聯軍在進攻京師時擊潰了清政府在北方的主力——僧格林沁的部隊。戰後僧格林沁又死於剿撚之役。所以清廷在直隸一帶沒有一支得力的軍隊。然而近代中國與古代不同，古代邊患多來自北麵，而自鴉片戰爭以後，西北邊患未去而東南沿海邊患更為嚴重。京師的地理位置離天津海口很近，很容易受到攻擊，所以必須駐有重兵才行。這就是清廷調曾國藩到直隸的主要用意。有研究者說清廷調曾國藩到直隸是讓他離開自己的勢力範圍江南，以便容易控製，是明升實降，恐怕不符合事實。
曾國藩在京一個多月，新老朋友、官場權貴，應酬很多。這期間有三件事值得一提。第一件是到塔齊布家拜望塔齊布的老母。塔齊布的家相當凋零，他的二弟鹹豐四年就已經病死，三弟也在最近病死，三兄弟竟然都沒有兒子。塔齊布隻有一女，二弟有四個女兒，老母親已經八十歲。可說是一門寡婦、女子。曾國藩與塔齊布的老母相見，想起往事，又見塔齊布家凋零的情景，不禁悲從中來，相對飲泣。第二件事是曾國藩悄悄到穆彰阿的家中訪問。穆彰阿已去世十餘年，其家自然也是衰落，曾國藩見到了穆彰阿的兩個兒子，麵對昔盛今衰的穆家，曾國藩也不勝感慨。第三件事是舊曆新年（春節）過後，同治帝於正月十六設宴招待廷臣。宴會在乾清宮內舉行，滿漢大學士、尚書分列兩排。倭仁排在滿大臣之首，坐在西麵；曾國藩排在漢大臣之首，坐在東麵。曾國藩的後麵還有大學士朱鳳標、吏部尚書單懋謙、戶部尚書羅衍、禮部尚書萬青藜、兵部尚書董恂、刑部尚書譚廷襄。這在曾國藩已是最高的禮遇。
年已經過了，該見的老朋友以及朝廷新貴都已經見到了，曾國藩該去上任了。
1869年2月27日，曾國藩在赴直隸總督任前再次拜見兩宮皇太後，這在當時叫做“請訓”。
曾國藩在日記中記述：
皇太後問：“爾到直隸辦何事為急？”
對：“臣遵旨以練兵為先，其次整頓吏治。”
問：“你打算練二萬兵？”
對：“臣擬練二萬人。”
問：“還是兵（綠營兵）多些？勇多些？”
對：“現尚未定。大約勇多於兵。”
問：“劉銘傳之勇，現紮何處？”
對：“紮在山東境內張秋地方。他那一軍有一萬一千餘人，此外尚須練一萬人，或就直隸之六軍增練，或另募北勇練之。俟臣到任後察看，再行奏明辦理。”
問：“直隸地方也不幹淨，聞尚有些伏莽，總須練兵乃彈壓得住。”
問：“洋人的事也是要防。”
對：“天津海口是要設防的，此外上海、廣東各口都甚要緊，不可不防。”
問：“近來外省督撫也說及防海的事否？”
對：“近來因長毛、撚子鬧了多年，就把洋人的事都看鬆些。”
問：“這是一件大事，總擱下未辦。”
對：“這是第一件大事，不定那一天他就鬧翻了。兵是必要練的，哪怕一百年不開仗，也須練兵防備他。”
問：“他多少國連成一氣，是一個緊的。”
對：“我若與他開釁，他便數十國聯成一氣。兵雖練得好，卻斷不可先開釁。講和好要認真，練兵也要認真。講和是要件件與他磨。二事不可偏廢，都要細心的辦。”
問：“也就靠你們替我辦一辦。”
對：“臣盡心盡力去辦。凡有所知，隨時奏明請示。”
問：“直隸吏治也疲頑久了，你自然也都曉得。”
對：“一路打聽到京，又問人，也就曉得些。屬員全無畏憚，臣到任後，不能不多參幾人。”
問：“百姓也苦得很。”
對：“百姓也甚苦，年歲也不好。”
問：“你要的幾個人是跟你久了的？”
對：“也跟隨臣多年。”
由這段談話，我們知道兩宮皇太後最關心的，是練兵以拱衛京師，其次是整頓直隸的吏治。那時候，直隸的省城不是現在的石家莊，也不是天津，而是保定。舊曆正月二十日，曾國藩離京赴任。曾國藩是個辦事認真的人，赴保定途中，先順道察看經常發生水患的永定河的河工。
正月二十七日（1869年3月19日），曾國藩抵達保定。
這些年，直隸積存的問題很多，這兩年，是官文以大學士的身份署理直隸總督，但是官文會做官卻不會辦事，單是皇太後念念不忘的練兵一事，官文就辦不好。清廷讓曾國藩當直隸總督，就是希望以他的經驗和威望，將直隸的事情整頓好。在保定，曾國藩又見到了與他辦理交接的官文，曾國荃彈劾官文的事已過去了兩年多，這次見麵應該不會太尷尬吧，但曾國藩在日記中還是沒有寫見麵都談些什麼。二月初二日（3月14日），曾國藩正式接印，開始管理直隸的事情。天下大亂稍定，直隸的事情可以說是千頭萬緒，從哪裏著手呢？又該以什麼樣的態度辦這些事呢？曾國藩心中有數，他剛到保定，還沒有正式接印，就作了一副州縣官廳聯，聯中這樣說：“長吏多從耕田鑿井而來，視民事須如家事；吾曹同講補過盡忠之道，凜心箴即是官箴。”第二天他對這個聯語不甚滿意，又另撰寫了一副：“念三輔新離水旱兵戈，賴良吏力謀休息；願群僚共學龔黃召杜，即長官藉免愆尤。”寫了之後又不滿意，再撰一副：“隨時以法言巽語相規，為諸君導迎善氣”斯民當火熱水深之後，賴良吏默挽天心。”這三副聯語都表達了曾國藩此時的心情，那就是除了辦好練兵等事外，要整頓吏治，希望官員們能夠體恤民間的疾苦，認真辦事，修養民力，讓老百姓有個喘息的時間，恢複殘破的社會經濟，同時也就是鞏固大清朝的統治。雖然年事已高，曾國藩仍想勉為其難，做好這個直隸總督。
二、改造綠營，興辦練軍
練軍隊是曾國藩的第一項任務。曾國藩在向兩宮皇太後請訓的那一天，上過一個：“略陳直隸應辦的事宜”的奏折，其中第一條說的就是練軍隊的事情。長期以來，特別是第二次鴉片戰爭以來，直隸的軍隊衰弱不可用，直隸的防務十分空虛。剿撚戰爭時，西撚軍曾衝入直隸一帶，直隸根本無可與撚軍一戰的軍隊，全靠外調來的軍隊，清廷不希望再發生這樣的事情。另一方麵，京師離海較近，兩次鴉片戰爭中，英、法隊隨時可到天津海口騷擾、威脅。而1860年又占領京師，因此直隸急需較有戰鬥力的軍隊。