曾國藩四處勸捐，甚至勒捐（強行攤派），引起湖南紳士的普遍不滿，他與地方官也頻生矛盾。現在，皇帝令他出師，他卻幾次拒絕。為此，許多人對他更為不滿。懷疑他拿富紳的錢在幹什麼。有的人以委婉的方式批評他，說兵法不是講兵貴神速嘛，為何如此遲緩？！曾國藩卻不為所動，複信說：“此次募勇，成軍以出，要須臥薪嚐膽，勤操苦練，養成艱難百戰之卒，預為東征不歸之計。若草率從事，驅不教之士，執蠱脆之器，行三千裏之遠，以當虎狼百萬之賊，未與交鋒而軍士之氣固已餒矣。雖有一二主者忠義奮發，亦無以作其眾而貞於久也。故鄙意欲竭此兩月之力，晝夜訓練。凡局中窳苦之器，概與講求而別為製造，庶幾與此劇賊一決死戰。斷不敢招集烏合，倉卒成行，又蹈六月援江之故轍。雖蒙糜餉之譏，獲逗留之咎，亦不敢辭。 在回複林源恩的信中曾國藩一再強調：劍戟不利，不可以斷割；毛羽不豐，不可以高飛，若倉皇一出。比於遼東自詡之豕，又同灞上兒戲之師，則徒見笑大方耳。必須練百金精強之卒，製十分堅致之械，轉戰數年。曾無餒誌，乃可出而一試。 曾國藩善於吸取曆史教訓。當時他的舊友已有不少因倉促一戰而命喪黃泉，他不能蹈此覆轍。他必須堅持定見，不為謠言所動，不為譏諷所搖，甚至皇帝的聖旨，十二道金牌也要擋一擋。
他給劉蓉信中曰：前此飭仆援鄂中，有“肅清江麵”字樣。省中人言藉藉，遂謂諭旨令赴皖，會同江某雲雲。有以書來賀我起行者，有以書來責我遲緩者，仆方付之一笑，以為不足辦而已。不謂此次寄諭，乃與前番謠言巧相符合。彼中舊知，如周敬修、呂鶴田遽已淪謝，江、李、袁、陳諸君，計亦難必瓦全。如仆者，尚何忌何待？然不稍為儲峙，則此後更無繼者，故不得不稍慎也。大局所在，隻論利害，不顧私誼，即使君父諭旨，也不能完全遵照。 以往史書多責備曾國藩不顧師生情誼，置老師吳文安危於不顧，實則不然。曾、吳二人在函劄往來中有大致統一的意見，即堅守武昌對兩湖十分關鍵，如果輕易出戰，必敗無疑。十二月十二日，他致信吳文，陳述他“專望廣東之九萬金來，為起行之資。”可是廣東起運的西洋炮至今未到，因此“正月尚不能起行”，為此“焦灼難狀”。曾國藩慨歎“天下大局，不知何法可就澄清，但有浩歎！”形勢的發展終將吳文逼上了死路，這就是湖北巡撫崇綸向清廷參奏吳文，而清廷不辨黑白。此時太平軍攻武昌頗急，崇綸本擬棄城遠避，吳主張固守。二人意見相左，上奏各執已見。鹹豐帝諭吳文速帶官兵，出省迎剿，崇綸專辦省城內外防守事宜。吳文奏稱：帶兵出省剿賊，並與侍郎曾國藩商辦炮船，俟水勇器械齊集，約於明歲正月水陸進剿。得旨：朕總以汝所辦之事若何為憑，是時嘵嘵置辯，何能掩前之失！ 曾國藩得知吳文被參及清廷的諭旨後，焦灼不安。十二月十五日，他致信吳文，囑其堅守省城，即因此受到處分，也仍堅持：竊念吾師之進退，係南北兩湖之安危。即係天下之利害。此時以極小之船，易炸之炮，不練之勇。輕於進剿，不特“剿”之一字毫無把握，即鄂垣城守，亦覺單薄可慮。雖有嚴旨切責，吾師尚當剴切痛陳，備言進剿之不能得力，徒挫聲威；省會防守之不可忽，船炮湊辦之不易集，湘省之辦船，粵東之購炮，皆係奉肅清江麵之旨而來，隻可並為一氣，協力進攻，不可七零八落，彼此無成。逐層奏明，宜蒙俞允。即以此獲咎，而於吾師忠直之素，謀事之臧，固亦可坦然共白於天下。但曾國藩十分擔憂座師吳文已率兵出城。因而信尾說“如尚未起行，伏望審慎三思，仍駐鄂垣，專重防守。”
直到鹹豐四年正月十六，曾國藩還給吳去信，稱他於二月十八日起行。當時曾國藩剛得悉江忠源戰死，對吳說：吾黨失此男子，知與不知，同聲泣悼。國藩之初意，欲多備船隻、炮械，募練勁旅，奉吾師為主帥，而國藩山岷樵二人為左右之輔，蓋以近年以來，老成凋謝，吾師為中原群士所歸仰，而國藩與岷樵二人又適皆出門下，或者共相激厲，維持南服數省之大局。今岷樵成名以去，吾師又被參劾，國藩區區，將何所依倚以圖宏濟乎？但祈吾師善衛玉躬，臨戎持重。 吳文此時也料到自己難逃一死。出戰前致書曾國藩囑其萬勿草草而出：我今為人所逼，以一死報國，無複他望。君所練水師各軍，必等稍有把握，然後可以出而應敵，不要因為我的緣故，輕率東下，東南大局，完全依仗你一人，務以持重為意，倘若你有不測之險，恐怕連後來的繼承人都找不到了。我雖然是老師，牽涉國家的份量還是不如你重要。希望三思。 吳文在一幫滿州親貴的逼迫下，無奈之中於1854年1月底率兵勇4000進駐黃州以北的堵城，以圖攻占黃州。2月初，正值太平天國天曆的新年，黃州城裏舉行慶祝活動。吳文以為有機可乘，下令所部清軍發動進攻。太平軍則派出一支部隊，繞出清軍之後，隱蔽埋伏。2月12日，黃州城內的太平軍全部出動，猛攻清軍，同時伏兵突起，對清軍進行夾擊。清軍兩麵受敵，死傷大半。吳文於絕望之中自殺。
江、吳兩人的死對曾國藩是個沉重的打擊。江忠源在曾國藩門生弟子中。辦團練最早，最有實戰經驗，同時也任職最高，最得清政府的信任。曾國藩曾打算練勇萬人概交江忠源指揮，而自己隻在後方辦理練兵籌餉等事。不料未待出征而江忠源斃命，這逼迫曾國藩不得不親自出征。吳文的死對曾國藩打擊更甚，吳文身任湖廣總督，既是曾國藩的老師，又是他強有力的後台。若吳文仍在，處處有人幫他說話，或許不至於陷入後來那樣的困境。 曾國藩深通天道盈縮、洪荒變換的道理，他常常告誡諸將說：“寧可好幾個月不開一仗，決不可以開仗而毫無安排、準備和算計。凡是用兵的道理，本來力量強而故意顯示給敵人以懦弱的多半會打勝仗，本來力量弱小而故意顯示給敵人以強大的多半會打敗仗。敵人向我進攻，一定要仔細考究衡量而後應戰的多半會打勝仗；隨意而沒有仔細考究衡量，輕率地發兵向敵人進攻的多半會打敗仗。兵者是不得已而用之的，應常常存留著一顆不敢為先之心，必須讓對方打第二下，我才打第一下。……與強悍敵人交手，總要以能看出敵人的漏洞和毛病為第一重要。如果在敵方完全沒有漏洞、毛病，而我方貿然前進，那麼我方必有漏洞和毛病，被對方所看出。不要乘自己有急躁情緒的時候出兵，不要為眾人的議論所動搖，自然能夠瞄準敵方可破的漏洞。”
曾國藩蓄勢以待，贏得了寶貴的半年時間。這是他“咬牙立誌”的又一次體現。鹹豐三年冬，確實是曾國藩出辦團練以來的最艱難時期之一。庶事草創，經費繁巨，有求弗應，“公嚐以蚊虻負山、商距馳河自況；又嚐有精衛填海、杜鵑泣山之語。蓋公之水師為肅清東南之基本，而是年冬間，最為盤錯艱難之會矣。”（《曾國藩年譜》，卷二）