與此同時，由於馬新貽在金陵遇害，總督位置出缺，而曾國藩在京城的高官中實際上已經成為“不受歡迎的人”，但他勢力太大，又不能將之降級或革職，於是奉了1870年8月30日的詔書，繼任兩江總督。當處理教案的總體條件達成了一致時，他奉令迅速前往新的任所。在前往金陵的路上，曾國藩在京停留，於10月20日與21日受到召見。這一次又是慈禧皇太後向他提問：[5]
[1] 《書劄》：卷三十二，第 51、52 頁。極可能寫於 9 月初。
[2] 《奏議》：卷二十九，第 64 頁至第 66 頁上欄。
[3] 《年譜》：卷十二，第 15 頁下欄、第 16 頁。
[4] 同上，第 15 頁。有關提督一案的決定於 9 月 25 日送達；關於其他案件的決定於10 月 5 日送達。
[5] 《大事記》：卷四，第 6 頁。
問：你何日自天津起程？
答：二十三日自天津起程。
問：天津正凶曾已正法否？
答：未行刑，旋聞領事之言，俄國公使即將到津，法國羅使將派人來津驗看，是以未能遽殺。
問：李鴻章擬於何日將伊等行刑？
答：臣於二十三日夜接李鴻章來信，擬於二十五日將該犯行刑。
問：天津百姓現尚刁難好事否？
答：此時百姓業已安謐，均不好事。
問：府縣前逃至順德等處，是何居心？
答：府縣初撤任時，並未擬罪，故渠等放膽出門。厥後遣人諭知，業已革參交部，該員等惶駭，始從順德、密雲次第回津。
問：你右目現尚有光能視否？
答：右目無一隙之光，竟不能視。左目尚屬有光。
問：別的病都好了些麼？
答：別的病算好了些。
問：我看你起跪等事精神尚好。
答：精神總未複原。
問：馬新貽這事豈不甚奇？
答：這事很奇。
問：馬新貽辦事很好。
答：他辦事精細和平。
第二天召對繼續：
問：你在直隸練兵若幹？
答：臣練新兵三千。前任督臣官文練舊章之兵四千，共為七千。擬再練三千，合成一萬。已與李鴻章商明，照臣奏定章程辦理。
問：南邊練兵也是最要緊的。你們好好地辦去。
答：現在海麵尚平安，惟(唯)當設法防守。臣擬在江中要緊之處修築炮台。
問：能防守便是好的。這教堂就常常多事。
答：教堂今年到處滋事，教民好欺不吃教的百姓，教士好庇護教民，領事官好庇護教士。明年法國換約，須將傳教一節加以整頓。
……
他在北京一直逗留到皇帝的生日（11月3日）與他自己的生日（11月4日）之後。那是他的60歲誕辰，湖南與湖北的同僚們在會館為他舉辦了一個盛大的宴會。然後他起行前往金陵，於12月4日在該城接印。[1]
現在他在京城裏很不吃香了，下一年他在從金陵給弟弟的信中寫道：[2]
餘兩次在京，不善應酬，為群公所白眼，加以天津之案物議沸騰，以後大小事件，部中皆有意吹求，微言諷刺。陳由立遣發黑龍江，過通州時，其妻京控，亦言餘訊辦不公及欠渠薪水四千不發等語。以是餘心緒不免悒悒。閱曆數十年，豈不知宦途有夷必有險，有興必有衰？而當前有不能遽釋然者，但求不大幹咎戾、為宗族鄉黨之羞足矣。
[1] 《年譜》：卷十二，第 17 頁下欄。
[2] 《家書》：1871 年 9 月 24 日。
除了日常事務以及1871年10月和11月的長途視察以外，曾國藩在金陵的第二次任期內隻有一件事特別重要。這就是他與李鴻章聯合上疏，請求皇帝委派陳蘭彬與容閎挑選聰穎的年輕人送往美國及其他西方國家學習工程技術。他們請皇帝注意，過去曾試圖將中國人派往海外學習如何組建陸軍與海軍，但他們認為現在適逢其時，尤其考慮到剛剛與美國談判條約，那麼可以首先把學生送往美國，然後送往其他國家，學習所有技術。這兩位總督已經指令上述兩位官員為留學生製定章程，並請求總理衙門認可。資金要從海關收入中獲得。本書的篇幅不容許追蹤這項事業後來的曆史，如果按照曾國藩與李鴻章的願望去做，假設挑選了足夠人數的留學生派往海外，那麼結果會使中國大大加快進步的步伐。
這個計劃就其目的而言是很明智的。我們回顧一下大約與此同時日本把石倉大使與學生派往海外所得到的好處，那麼完全可以設想，如果像曾國藩這樣具備自由精神與無畏性格的人後繼有人，這個計劃就不可能失敗。一個人構想了這個計劃，並且直率地向皇帝提出。這個人在青年時代就表達了一種強烈的願望，希望洋人永遠離開中國。這件事情表明，指責曾國藩的頑固透頂是多麼沒有依據。他明顯地走在了他那個時代以及下一代人的官員與國民的前麵。他顯然抓住了一個想法：中國在行政與技術方麵遠遠落後於西方國家，如果不采取措施彌補這些缺點，她將遭受嚴重的不利。
大約在這個時候，或者稍早一點，曾國藩上了一份密折，催促朝廷采納下列綱領，開展政府的現代化：[1]
[1] 川崎三郎：《東方的偉人》，第 105~106 頁。我無法獲得奏稿原文，但它顯然寫於 1870 年或 1871 年。
1.將國都從北京遷移到中部的某處。
2.廢除腐朽的官僚作風，建立正確的行政辦法。
3.改革軍事，創建一支現代的陸軍與海軍，都由中央政府指揮。
4.改組國庫，應該將之完全置於中央政府控製之下。
5.改革選拔文官的辦法，裁革庸官，對幹員進行特種培訓。
有關這份奏疏中討論的問題，以上隻是一個簡單的概括，涉及當時中國所存體製的所有基本弱點，盡管經曆了辛亥革命，這些弱點至今猶存（作者作此書時，為1926年）。我們非常懷疑，即便像曾國藩這樣重量級的權威人物，是否足以改變當時的中國，讓她從極度的保守主義轉變為一個進步的國家。這個任務肯定是李鴻章力所不及的，不過此人比曾國藩更具備政治家的素質，顯然不大堅持原則，而愛好權宜之計。然而，曾國藩尖銳地指出了弊端，並且開出了藥方，這是他的一大功勞，隻要他的繼任者能夠采納，就能防止中央政府可悲的崩潰。
曾國藩及他那一代的國家級高官打破了中國傳統的官僚程序，在比較年輕的時候便升居高位，有很多人沒有爬過中間那些台階，[1]這個事實進一步說明我們應當將曾國藩放在進步人士之列，而不能將他歸於反動一類。曾國藩本人從未正式擁有任何省份的官位，直到他被任命為兩江總督。其弟曾國荃盡管擁有低級的名義官職，實際上是以巡撫官職開始其文官生涯的。李鴻章、左宗棠與彭玉麟同樣很少或沒有做過低級官員就升居高位。這是中國這樣保守的國家所采取的破格措施。為了曾國藩及其舉薦者如此大膽地破壞程序，中國已經遠遠擺脫了她的條條框框，在政治和其他方麵，曾國藩表明自己是進步的，甚至是激進派，隻要變化不會脫離其民族的內在天賦。
[1] 李翁兵在其《中國史綱》中要求讀者注意這個事實。
他的去世突然發生於1872年3月，他在花園裏進行了日常的餐後散步後，當時正在休息。不過這也並非毫無征兆，事前已經有過許多跡象，其中之一發生在去世的幾天以前，當時他出門去河邊會見一位貴客，途中暈倒在轎子上。金陵人民以及全國重視其功勳的人們深感這是一個巨大的損失。為了悼念他，朝廷輟朝3天。針對此事頒發的上諭也許很好地總結了中國人對他的感情，因為其中所寫的不僅僅是出於禮儀的陳詞濫調：
大學士兩江總督曾國藩，學問純粹，器識深宏，秉性忠誠，持躬清正。由翰林蒙宣宗成皇帝特達之知，洊升卿貳。鹹豐年間，創立楚軍，剿辦粵匪，轉戰數省，迭著勳勞。文宗顯皇帝優加擢用，補授兩江總督，命為欽差大臣，督辦軍務。朕禦極後，簡任綸扉，深資倚任。東南底定，厥功最多，江寧之捷，特加恩賞給一等毅勇侯，世襲罔替，並賞戴雙眼花翎。曆任兼圻，於地方利病盡心籌畫。老成碩望，實為股肱心膂之臣。方冀克享遐齡，長承恩眷，茲聞溘逝，震悼良深！曾國藩著追贈太傅，照大學士例賜恤，賞銀三千兩治喪，由江寧藩庫給發。賜祭一壇，派穆騰阿前往致祭，加恩予諡文正，入祀京師昭忠祠、賢良祠，並於湖南原籍、江寧省城建立專祠。其生平政跡事實，宣付史館。任內一切處分，悉予開複，應得恤典，該衙門察例具奏。靈柩回籍時，著沿途地方官妥為照料。其一等侯爵，即著伊子曾紀澤承襲，毋庸帶領引見。其餘子孫幾人，著何璟查明具奏，候朕施恩，用示篤念忠良至意。欽此。
曾國藩的衣缽落到了李鴻章手中，李鴻章後來的生涯中有許多時刻跟外國人打交道，以至於在西方人的記憶中幾乎掩蓋了對於其老上司的記憶，但事實上在中國人眼中，兩人是不能相提並論的。李鴻章與左宗棠在曾國藩去世後取得了很大的成就，但是在中國人的眼中，他們並未從曾國藩的花圈上取走一片葉子。曾國藩是忠誠的，死時貧窮；李鴻章以身居高位獲利而著稱，離世時非常富有。除此以外，李鴻章從未找到曾國藩幕僚群那種類型的助手。有些人說這是因為李鴻章太激進，也有人說他寧願由庸才輔佐，這樣就能彰顯他的英明。不論原因何在，直到19世紀80年代末一直由曾國藩那些經曆過太平天國時代的老領導們主宰的行政管理，在下一代人手中迅速地滑坡，直到1911年的革命把清朝整個兒地掀下權力的寶座。