鹹豐八年（1858）四月，湘軍水陸師攻陷九江後，移師鄂東，準備“東征”，進犯太平天國安徽省根據地。而安徽方麵，自石達開出走後，天王洪秀全將安徽的軍事權交給陳玉成。陳玉成以安慶為大本營，以攻為守，親率所部數十萬人，經常楔入鄂東，進攻黃梅、黃安、新州、麻城、羅田等縣，其目的是“攻鄂保皖救潯”。陳玉成的軍事攻勢，使胡林翼指揮的湘、楚軍備多而力分，特別是湘軍水師，楊嶽斌與彭玉麟不和，外江水師與內湖水師貌合神離，隱伏著挫敗的危機。
為此，胡林翼從鄂、贛軍事全局出發，於鹹豐七年（1857）九月二十六日上《起複水師統將以一事權並密陳進剿機宜疏》，試圖借此敦促朝廷起用曾國藩。他奏陳說：目前小池口、湖口相繼克複，早先陷人鄱陽湖的輕快水師已經衝入大江，與外江水師相會合。鄱陽湖水師前令道員彭玉麟統轄，與外江水師總統楊嶽斌原無芥蒂。惟水師萬餘人，江麵千裏“若無總統大員節製調度”，則號令不一，心力不齊，終必危殆；且李續賓、楊嶽斌、彭玉麟將領“嚴厲剛烈落落寡合，亦非他省將帥所能調遣”。楊嶽斌、彭玉麟等經曾國藩“識拔於風塵之中，自湘潭出師以至今日，久已分為兩部，在該軍本無不和，而兩營弁勇，即有才力不相上下之勢，是該鎮、道勢又不能互為統轄”。
胡林翼的話很明白，湘軍水師行將分裂，湘軍水、陸將領非曾國藩難以指揮自如。他在奏疏的結論中提出：若許曾國藩“移孝作忠”，視師九江，即日督帶湘軍水陸師會合楚軍，將士一心，不難攻占九江，水陸東征安徽，直搗金陵。但清政府卻批複說：“克敵製勝之策，該署擾與官文、都興阿、楊載福（即楊嶽斌）等盡可商辦，正不必待曾國藩到楚方能定議。”清政府對曾國藩的猜忌已深，斷然拒絕了胡林翼的請求。
李秀成擊敗東南大營後，曾國藩終於有機會出山了。因為八旗兵已不可用。同時，曾國藩、胡林翼並對清政府關於東南的人事布局做了一番揣測。胡林翼說：“江、浙為廩庾根本，京師性命所係，然使泛泛以尋常辦理軍務之人前往，則事權不屬，功必不成。近十日中，必有十餘人奏請滌帥往援。林翼之意，必得地方之符乃可去，非此則不可去也。設滌帥去後，秋冬之際，賊必有三四十萬大股並力西犯。”後來，曾國藩聽說忠王李秀成略定蘇常，驚呼：“蘇常失守，杭州亦岌岌可危，東南大局決裂如此，不知尚有何術可挽回……現奉寄諭，飭國藩往援蘇、常，蓋不知蘇、常已失也。鄙意楚軍刻不能救援下遊，且當竭三省全力，禦賊匪秋間之大舉，如能於秋間兩路大捷，然後有餘力兼謀下遊，目前實有不逮。”同時他對自己的出路，也做了一番猜測。他說：蘇、常失守，“目下浙江危急之至……東南大局，一旦瓦裂，皖北各軍，必有分援江、浙之命，非胡潤帥移督兩江，即餘往視師蘇州。二者苟有其一”，則進攻安徽的軍事布局，不能不有所變更。“餘則聽天由命，或皖北，或江南，無所不可。”曾國藩、胡林翼迫切希望他們兩人中能有一人出任兩江總督，以擴大湘係地盤。
而在決定兩江總督人選時，肅順的意見是至關重要的。肅順平素喜攬名流，“朝上如郭嵩燾、尹耕雲，舉人王因運。高心夔皆出其門，采取言論，密以上陳”。他在鎮壓太平天國的用人問題上，反對祁春圃、彭蘊章的觀點，主張重用以胡林翼、曾國藩為首的湘係人物，“平時與座客談論，常心折曾文正公之識量、胡文忠之才略”。蘇、常失陷後何桂清以棄城獲罪，鹹豐帝欲用胡林翼總督兩江。但肅順說：“胡林翼在湖北舉措盡善，未可挪動，不如曾國藩督兩江，則上、下遊俱得人矣。”上曰：“善。”遂如其議。鹹豐十年（1860）四月十三日，李秀成攻克蘇州。十九日，清政府以曾國藩署兩江總督，著統率所部兵勇，取道皖南，恢複東南。七月上旬，又實授曾國藩以兩江總督，並命令為欽差大臣督辦江南軍務，所有大江南北水陸各軍均歸其節製。又將楊嶽斌、彭玉麟統率的湘軍水師撥歸曾國藩節製調遣。
任命曾國藩總督兩江督辦江南軍務，對曾國藩與湘軍將領鼓舞很大。胡林翼得到曾國藩署兩江總督的消息後，亦“氣息為之一壯，耳目為之一明”。後來，胡林翼又得知曾國藩被任命為欽差大臣，並實授為兩江總督，所有大江南北水陸各軍悉歸其節製後，興奮地說：“滌帥實授兩江總督，殆如國相司馬之氣象。誠明之至，上感九閽，軍氣孔揚。”不過曾國藩總督兩江後，卻是喜、憂參半。喜的是長期受壓抑，現在總算熬出了頭，得到了清政府的信任與重用，全軍歡欣鼓舞，“或者數年抑塞之氣，至是將暢然大舒乎”。憂的是太平軍占有蘇南，天京與蘇、常聯成一片，聲勢重振，力量倍增，杭州、皖南岌岌可危，東南大局“糜爛”，命他為欽差大臣督辦江南軍務，無異要他火中取栗。他在家書中也道出了他的這種複雜的心情。他說：“擔此巨任，深以為懼。若如陸（陸建瀛）、何（桂清）二公之前轍，則讓我父母蒙受羞辱，即使兄弟子侄亦將為人看輕。禍福倚伏之機，竟不知有什麼為可喜也。默觀近日之吏治、人心及各省之督撫將帥，天下似無戡定之理。吾惟以一勤字報吾君……但守一勤字，終日勞苦，以稍分聖上之憂。”在理學思想的指導下，“吾欲行仁義於天下，使凡物各得其分”，維護腐朽的封建統治，是他的絕對信條。他明知政治敗壞，民不聊生，“天下似無戡定之理”，卻無動於衷，仍然要一拚到底。
從出山的第一天起，曾國藩就立定了一個誌向：“一不要錢，二不怕死。”不要錢，就戒除了私心；不怕死，就斷絕了後路。能做到這兩點，就可稱智且勇，一個人就會英氣勃發，氣吞山河，壯誌淩雲。