其實曾國藩的態度是對的。因為他所處的環境，當時雖是督師，實居客寄的地位，籌兵籌餉，一無實權，州縣官都不聽他的話，各省督撫又常常為難他，隻有胡林翼是誠心幫他的忙。湘軍將士雖也擁戴他，可是他們的官級，有的比他還高，他好像一個道義上的統帥，當然是經不起敗仗的。他的苦衷，一般人哪能明了？我們來看他寫給弟弟們的信：
兵勇搶劫糧台，此近年最壞風氣，兄奏明將萬瑞書即行正法。聞駱中丞不欲殺之。近日意見不合，辦事之難如此。
陳竹伯中丞辦理軍務，不愜人心，與餘諸事亦多齟齬，凡共事和衷最不容易，澄弟尚在外辦公事否？宜以餘為戒！杜門不出，謝卻一切。餘食祿已久，不能不以國家之憂為憂，諸弟則盡可理亂不聞也。
帶軍之事，千難萬難，澄弟溫弟嗣後總以不帶勇為妙。吾閱曆二年，知此中構怨之事，造孽之端，不一而足。恨不得與諸弟當麵一一縷述之也。
這樣艱苦的境遇，使得他在鹹豐七年（1857）聽到父親死去的噩耗後，立刻率曾國華、曾國荃回籍奔喪，大有急流勇退的意思。
此次曾國藩棄軍奔喪，已屬不忠，此後又以複出作為要求實權的砝碼，這與他平日所標榜的理學家麵孔大相徑庭。因此，招來了種種指責與非議，再次成為輿論的中心。朋友的規勸、指責，曾國藩還可以接受，如吳敏樹致書曾國藩，談到：
曾公本以母喪在籍，被朝命與辦湖南防堵，遂與募勇起事。曾公之事，暴於天下，人皆知其有為而為，非從其利者。今賊未平，軍未少息，而迭遭家故，猶望終製，蓋其心誠有不能安者。曾公誠不可無是心，其有是心而非訛言之者，人又知之……奏折中常以不填官銜致被旨責，其心事明白，實非尋常所見。
好朋友羅汝懷也寫信給曾國藩，指責他不應不分輕重緩急：
夫奪情之事，本出於變，而變之中又有輕重緩急之辨。……且夫喪服者一身家之私事，喪亂者天下之公憤。人臣之身既致，且不得自遂其私……至並喪製而奪之，必事勢之萬無可已。故其事不及於位卑任輕之人。今以九重綺畀，四海屬望，而下同鄉閭之匹士，固守經典之常軌，一再曰：“兩次奪情，從去所無”，豈足以為解乎。
最令他難堪的是左宗棠一針見血的責難，“左宗棠在駱秉章幕中，肆口詆毀，一時嘩然和之”。曾國藩自知心虧理缺，無法辯解，隻能忍耐。但左宗棠的所作所為，卻使他一直耿耿於懷，在其後談及此事時，仍感憤懣：“我生平以誠自信，彼乃罪我欺，故此心不免耿耿。”
在內外交困的情況下，曾國藩憂心忡忡，遂導致失眠。朋友歐陽兆熊深知其病根所在，一方麵為他薦醫生診治失眠，另一方麵為他開了一個治心病的藥方：“岐、黃可醫身病，黃、老可醫心病。”歐陽兆熊借用黃、老來諷勸曾國藩，暗喻他過去所采取的鐵血政策，未免有失偏頗。
朋友的規勸，不能不使其陷入深深的反思。
自率湘軍東征以來，曾國藩有勝有敗，四處碰壁，究其原因，固然是由於沒有得到清政府的充分信任而未授予地方實權所致。同時，曾國藩也感悟到自己在修養方麵也有很多弱點，在為人處事方麵固執己見，自命不凡，一味蠻幹。後來，他在寫給弟弟的信中，談到由於改變了處世方法所帶來的收獲：