拿下安慶，這是第一個戰略任務，經胡林翼提醒，曾國藩已決定調九弟國荃去安徽，調楊載福水師協助。他在密信中告訴九弟：“此次安慶之得失，關乎我家氣運，即關係天下之安危。”胡林翼也給曾國荃寫信說：“此事是全皖根本，即是謀吳根本。安慶不得，全局不振，惟丈毅然行之。”曾國荃是個好大喜功的人，接到大哥和胡林翼的書信後，立即率領人馬出發，一麵還派人回湖南再招募五千人。有了攻克吉安的經驗，他對攻下安慶充滿信心。為保障勝利，曾國藩還把滿弟貞幹的貞字營擴大到兩千人，也調往安慶。這兩支人馬是真正的曾家軍，安慶方麵可以放心了。
曾國藩幾乎每天與胡林翼通書信，商討兵餉之計。兩人取得共識，籌餉以江西為本，籌兵以兩湖為本。他調鮑超所部六千人，朱品隆、唐義訓所領二千人，楊鎮魁所領一千人，渡江向南，駐紮到徽州的祁門。其圍攻安慶的軍隊堅決不撤，由曾國荃負責。
如今畢竟是兩江總督，不得不向朝廷表示一點姿態。總督行營該駐節何處呢？他對著地圖看了半天，決定放在祁門。祁門是安徽的南大門，處於叢山包圍之中，一條大道貫穿縣城，東連修寧、徽州，南達江西景德鎮，既有天然大山可以屏蔽老營，又可以與浙江、江西互通，是個駐節的好地方。
曾國藩想到胡林翼來信中的建議，考慮兩江屬下的江西、江蘇、安徽以及浙江四省的巡撫，必須不露聲色地逐步替換成可靠心腹。他心裏已經有兩個人選，一是彭玉麟，一是贛南兵備道沈葆楨。沈葆楨，是名臣林則徐的女婿，品行才幹都有嶽丈的遺風。重要的是，沈葆楨曾在湘勇營務處供職一年多，可引為心腹，還能避免盡用湖南人的嫌疑。還得再物色兩人，把江西巡撫毓科、安徽巡撫翁同書、江蘇巡撫薛煥、浙江巡撫王有齡統統換掉。
2.緩緩東下
鹹豐十年五月初九日，曾國藩派李元度回平江招募勇丁。
五月十五日，曾國藩從宿鬆坐船起程。鮑超部六千人，朱品隆和唐義訓部兩千人，和原來宿鬆大營的馬步兩千人，由陸路至華陽鎮渡江，到祁門集結。
五月十一日，曾國藩泊舟老洲頭，宿鬆數千紳民為他餞行。十七日，馳奏奉諭旨先行，複陳啟程日期一折。然後具折奏報預籌三支水師：
思皖南局勢稍定，即行分途試辦。查淮揚裏下河產米最多，而鹽場為大利所在，非於淮安急辦水師，造船購炮，實有岌岌不保之勢。欲克金陵，必先取蕪湖，必於寧國另建一支水師，遍布固城、南漪諸湖，與外江水師成夾攻之勢。今蘇州既失，四麵皆水，賊若阻河為守，則陸軍無進軍之路。欲攻蘇州，必於太湖另立一支水師。此三者皆目前之急務，如力不能兼，則先辦淮揚、寧國兩支水師；若財力仍然不逮，則專辦淮揚一支。蘇省財賦之區，但淪陷殆遍，若不設法保全，則東南之利盡失矣！
然後附片奏保，彭玉麟任事勇敢，勵誌清苦，實有烈士之風，如須興辦水師，再行奏請簡派。湖南道員李翰章，廉正樸誠，遇事精核，請求以道員該歸江西，遇缺簡用，與署理藩司李桓會辦江西省牙厘事務。
俗話說：軍馬未動糧草先行。既然決定移師祁門，曾國藩立即首先想到糧食。於是附片請飭戶部，查明京倉貯藏若幹，谘行到臣，俾得斟酌緩急，設法籌辦。
曾國藩心思縝密，明白孤軍深入乃兵家大忌。又具折奏請，調飭下遊水師總兵吳全美、李德麟所統領的戰船，分別扼守狼山、福山、焦山、瓜洲一帶江麵，與揚州陸軍聯絡，不能讓太平軍戰船能渡江到北岸，以保全裏下河糧倉為要務。
曾國藩清醒地認識到，興軍以來的事實證明，湖北兩次陷入太平軍手中，則全局崩潰；湘勇兩次克複湖北，太平軍便陷入困境。如今朝廷嚴令湘勇大軍東下，必須替胡林翼著想，萬萬不能調空湖北兵力。於是上奏說：鄂省為用兵樞紐，據上遊形勝全局攸關，一有疏虞，則東南六省之奏報不能達於京師矣。臣與都興阿分調萬數千人，撥餉數萬，湖北之力甚形竭蹶。應請嗣後無再抽撥該省兵勇，俾官文、胡林翼等勉力支持，不蹈金陵覆轍，天下幸甚。
奏折送出，曾國藩坐船途經東流、建德、浮梁，前往祁門安營。
五月二十日，李翰章欣然趕赴江西，辦理牙厘局。
曾國藩預料到，途經長江水師，湘勇官兵對自己成為總督無不歡欣鼓舞，各處會大擺宴席，大搞歡迎儀式。出發之前，他特地給楊載福、彭玉麟寫信，要求他們不搞任何儀式。他到達橫壩頭，發現各營在江邊列隊迎接，還燃放鞭炮，十分不悅。後來到華陽鎮，見僅彭玉麟一人親自迎接，這讓他十分高興，宣布自己以後出行，下屬不準迎送。
五月二十一日，曾國藩的坐船抵達黃石磯。當天下午，九弟國荃、滿弟貞幹和楊載福一起登上坐船，一見麵就向曾國藩道賀。曾國藩鄭重地說：“九弟，滿弟，厚庵，你們別向我說道賀的話，這隻會增加我的壓力。”
曾國荃詫異地說：“大哥，你擁有兩江總督實權，節製三省兵力財力，不用再為兩萬湘勇的糧餉犯愁了，怎麼增加壓力呢？”
曾國藩微微一歎：“九弟，你這是不當家不知柴米貴。昔日大哥隻是兩萬湘勇統帥，隻需為湘勇的糧餉操心。現今東南大局糜爛，皇上讓大哥署理兩江總督，明擺著要大哥收複被長毛攻陷的江浙財賦要地，這不是給大哥如山的壓力嗎？”
國荃一愣間，曾國藩凜然說：“興軍以來，大哥與你們哪天不在頂著來自各方的壓力過日子？好在我們湖南人向來霸得蠻、吃得苦、舍得死，再大的壓力也還扛得住。大哥醜話說在前頭，皇上給大哥壓力，大哥也得給你們幾個加壓力，務必拚盡全力攻下安慶！”