曾國荃雖然把官文趕走了，但卻給曾家兄弟的政治生涯帶來了新的危機。前麵說的一年之中有好幾個禦史指責攻擊曾國藩，有的就是因此而發。本來，當初朝廷任曾國荃為湖北巡撫時，曾國藩還著實高興了一陣子，讀到任命上諭後就在日記中寫道：“沅弟簡授湖北巡撫，從此三江兩湖聯為一氣，於辦撚較有把握。”家書中則說“論公論私，均屬大有裨益”。不料，老九卻把事情搞砸了。看來古人說的“小不忍則亂大謀”，真是經驗之談。胡林翼忍辱負重，總算能放手辦事，把湖北經營好，如果不想嘔氣，就連事也辦不成。官文是走了，但是曾國荃也難安於其位，第二年（1867年，同治六年），曾國荃又以生病為由，卷起鋪蓋回了家，任湖北巡撫隻有一年半時間。此後他在家一呆就是七年，直到光緒元年，也就是1875年，才又重新出來任職，那時距曾國藩逝世也已經兩年多了。
這段時間裏，曾國藩的兩個好朋友兼兒女親家也都遇到了麻煩。任陝西巡撫的劉蓉先被彈劾，朝廷欲將其罷免，恰好楊載福任陝甘總督，上奏為劉蓉辯護，於是朝廷又命劉蓉署理陝撫。可是因為陝西回亂，楊載福無力鎮壓，自己也托病辭職，劉蓉也隨著托病辭職。不料十二月因為陝西清軍兵敗，清廷竟歸罪劉蓉，將已辭職的劉蓉再行革職，郭嵩燾本任廣東巡撫，太平軍餘部入廣東，閩漸總督左宗棠以欽差大臣督師入粵，在籌餉問題上與郭嵩燾發生意見分歧，竟接連四此奏參郭嵩燾，清廷隻得將郭嵩燾解職。
恰好在曾國荃發出彈劾官文的奏折同一天，曾國藩再次收到禦史彈劾他的奏折，他在日記再次記：“接奉廷寄，有禦史參劾之章，為不懌者久之”。曾國藩這一段時間身體總是不好，9月25日早晨起床，他仔細觀察自己的身體，發現兩臂、兩腿、腰脊都已瘦了一半，腿部膝蓋下更瘦。他覺得自己“斷不能再服官矣”。比疾病更讓他煩惱的是人事。他在日記裏幾次記下自己的感慨，如9月17日記：“反複籌思進退身世之宜，百感交集”。9月26日，他整整一個晚上無法入睡，在日記中寫道：“內憂身世，外憂國事，有似戊午春不眠景況。”戊午是1858年，指的是他丁憂在家時的情形，那是曾國藩心情最遭的時候。同治六年正月二十九日，他睡時“心中鬱鬱，常思解去要職，以免疑謗”，結果做惡夢，大聲喊叫，從人都被他驚起。這一鬧，弄得他整夜都不得安眠。二月二十三日日記又寫道：“閱邸抄，見禦史阿淩何劾餘驕妄，雖蒙聖諭鑒原解釋，而群疑從謗，殊無自全之道，憂灼曷已！……三點睡，天氣暖熱，久不成寐。三更末始成寐，五更即醒。念沅弟屢被朝旨詰責，而賊複蹂躪鄂省，久不出境，左右又無人讚助，所處殆如坐針氈。霞仙（劉蓉）、雲仙（郭嵩燾）皆見譏於清議，而餘又迭被台諫糾劾，進退兩難，展轉焦思，深歎高位之不易居耳。”顯然，曾國藩與清廷的，遇到了自曾國荃攻占金陵來的又一次嚴重危機。
曾國藩的辦法，是再次求退以保全自己。
1866年9月20日，曾國藩第一次上奏，說身體不好，請假一個月，在營調理。托病求退，是中國官場的老習慣。托病的人可以用這辦法試探朝廷或自己的上級，如果朝廷或上級堅決用他，便會用恰當的方式表明它的信任，來安撫求退的人，托病的人也就不再堅持求退。可是曾國藩得到的不是安撫，而是上麵我們說的與曾國荃彈劾官文同一天收到的禦史彈章。10月1日，曾國藩奏請命李鴻章駐徐州調度東路，已經準備隨時退出戰場，讓李鴻章接管。10月21日，曾國藩續假一個月。有了這兩次請假後，11月19日（十月十三日），曾國藩才奏請開缺。不僅如此，在附片中，曾國藩又請朝廷將他侯爵取消。沒過幾天，11月25日，曾國藩又接到嚴曆責難他的諭旨。這一下去意更堅。按照曾國藩的想法，是連兩江總督一並辭去，回老家安度晚年。但這樣會給接替他剿撚的李鴻章帶來麻煩。因為負責攻找撚軍的淮軍、湘軍的經費，絕大部分出自江蘇，曾國藩在一次奏報中說，與撚軍作戰的湘淮軍，每月需餉銀四十萬，都是署兩江總督的李鴻章籌劃的。如果換其他的人任兩江總督，很可能不會出大力支持李鴻章剿撚。所以，李鴻章要求他的老師繼續任兩江總督，李鴻章作事的風格常常是當仁不讓，這時他要他的老師也不必過分謙讓。大概清廷也看到了這一點，同時也不能對曾國藩做的過分，因為假如真的讓曾國藩辭職回籍，那麼在戰場的所有淮軍、湘軍將領都會寒心，甚至包括已經調陝西接替楊載福任陝某總督的左宗棠也會有兔死狗烹之感，剿撚戰爭的後果很難想像。所以清廷也堅持要曾國藩回任兩江總督。
後期的撚軍雖然作戰勇猛，左衝右突，一時難以包圍將其消滅，但是顯然撚軍有其不可彌補的弱點，那便是缺乏政治目標，缺乏長遠的計劃。賴文光或許想複興太平天國，但其他撚軍將領未必有一致的想法，所謂做一天和尚撞一天鍾，得過且過而已。這樣，撚軍沒有真正的根據地，沒有自己的理想和目標，隻是為了求生存而進行戰鬥，這樣一支造反的軍隊與有理想、有政權的太平天國絕不相同，它的失敗隻是早晚的問題。所以曾國藩在一封信中說：“撚匪之人多，誌大遠不如粵匪。”一年多來，曾國藩已經初步總結出了一些撚軍的特點，如他交卸欽差大臣之後致曾國荃的信就說：“此賊故智，有時疾馳狂奔，日行百餘裏，連數日不少停歇；有時盤於百餘裏之內，如蟻旋磨，忽左忽右。賊中相傳秘訣曰：‘多打幾個圈圈，官兵之追者自疲矣。’僧王曹縣之敗，係賊以打圈圈之法疲之也。吾觀撚之長技約有四端：一曰步賊長竿，於槍子如雨之中冒煙衝進；二曰馬賊周圍包裹速而且勻；三曰善戰而不輕試其鋒，必待官兵找他，他不先找官兵，得粵匪（太平天國）初起之訣；四曰行走剽疾，時而數千裏，時而旋磨打圈。撚之短處亦有三端：一曰全無火器，不善攻堅，隻要官吏能守城池，鄉民能守堡寨，賊即無糧可擄；二曰夜不紮營，散住村莊，若得善偷營者乘夜劫之，脅從者最易逃潰；三曰輜重婦女騾驢極多，若善戰者與之相持而別出奇兵襲其輜重，必大受創。此吾所閱曆而得者。”