七年二月，國藩聞父憂，逕歸。給三月假治喪，堅請終製，允開侍郎缺。林翼既定湖北，進圍九江，破湖口，水師絕數年複合。載福連拔望江、東流，揚帆過安慶，克銅陵泥汊，與江南軍通。由是湘軍水師名天下。林翼以此軍創始國藩，楊、彭皆其舊部，請起國藩視師。會九江克複，石達開竄浙江，浸及福建，分股複犯江西，朝旨詔國藩出辦浙江軍務。
國藩至江西，屯建昌，又詔援閩。國藩以閩賊不足慮，而景德地衝要，遣將援贛北，攻景德。國荃追賊至浮梁，江西列城次第複。時石達開複竄湖南，圍寶慶。上慮四川且有變，林翼亦以湖北餉倚川鹽，而國藩又久治兵，無疆寄，乃與官文合疏請國藩援蜀。會賊竄廣西，上遊兵事解，而陳玉成再破廬州，續賓戰歿三河，林翼以群盜蔓廬、壽間，終為楚患，乃改議留國藩合謀皖。軍分三道，各萬人。國藩由宿鬆、石牌規安慶，多隆阿、鮑超出太湖取桐城，林翼自英山鄉舒、六。多隆阿等既大破賊小池，複太湖、潛山，遂軍桐城。國荃率諸軍圍安慶，與桐城軍相犄角。安慶未及下，而皖南賊陷廣德，襲破杭州。
李秀成大會群賊建平，分道援江寧，江南大營複潰，常州、蘇州相繼失，鹹豐十年閏三月也。左宗棠聞而歎曰：“此勝敗之轉機也！江南諸軍，將蹇兵疲久矣。滌而清之，庶幾後來可借手乎？”或問：“誰可當者？”林翼曰：“朝廷以江南事付曾公，天下不足平也。”於是天子慎選帥，就加國藩兵部尚書銜，署理兩江總督，旋即真，授欽差大臣。是時江、浙賊氛熾，或請撤安慶圍先所急。國藩曰：“安慶一軍為克金陵張本，不可動也。”遂南渡江，駐祁門。江、浙官紳告急書日數十至，援蘇、援滬、援皖、援鎮江詔書亦疊下。國藩至祁門未數日，賊陷寧國，陷徽州。東南方困兵革，而英吉利複失好，以兵至。僧格林沁敗績天津，文宗狩熱河，國藩聞警，請提兵北上，會和議成，乃止。
其冬，大為賊困，一出祁門東陷婺源；一出祁門西陷景德；一入羊棧嶺攻大營。軍報絕不通，將吏惵然有憂色，固請移營江幹就水師。國藩曰：“無故退軍，兵家所忌。”卒不從，使人間行檄鮑超、張運蘭亟引兵會。身在軍中，意氣自如，時與賓佐酌酒論文。自官京朝，即日記所言行，後履危困無稍間。國藩駐祁門，本資餉江西，及景德失，議者爭言取徽州通浙米。乃自將大軍次休寧，值天雨，八營皆潰，草遺囑寄家，誓死守休寧。適宗棠大破賊樂平，運道通，移駐東流。多隆阿連敗賊桐城，鮑超一軍遊擊無定居，林翼複遣將助之。十一年八月，國荃遂克安慶。捷聞，而文宗崩，林翼亦卒。穆宗即位，太後垂簾聽政，加國藩太子少保銜，命節製江蘇、安徽、江西、浙江四省。國藩惶懼，疏辭，不允，朝有大政，谘而後行。
當是時，偽天王洪秀全僭號踞金陵，偽忠王李秀成等犯蘇、滬，偽侍王李世賢等陷浙杭，偽輔王楊輔清等屯寧國，偽康王汪海洋窺江西，偽英王陳玉成屯廬州，撚首苗霈霖出入潁、壽，與玉成合，圖竄山東、河南，眾皆號數十萬。國藩與國荃策進取，國荃曰：“急搗金陵，則寇必以全力護巢穴，而後蘇、杭可圖也。”國藩然之。乃以江寧事付國荃，以浙江事付宗棠，而以江蘇事付李鴻章。鴻章故出國藩門，以編修為幕僚，改道員，至是令從淮上募勇八千，選良將付之，號“淮軍”。同治元年，拜協辦大學士，督諸軍進討。於是國荃有搗金陵之師，鴻章有征蘇、滬之師，載福、玉麟有肅清下遊之師；大江以北，多隆阿有取廬州之師，續宜有援潁州之師；大江以南，鮑超有攻寧國之師，運蘭有防剿徽州之師，宗棠有規複全浙之師：十道並出，皆受成於國藩。
賊之都金陵也，堅築壕壘，餉械足，猝不可拔。疾疫大作，將士死亡山積，幾不能軍。國藩自以德薄，請簡大臣馳赴軍，俾分己責，上優詔慰勉之，謂：“天災流行，豈卿一人之咎？意者朝廷政多缺失，我君臣當勉圖禳救，為民請命。且環顧中外，才力、氣量無逾卿者！時勢艱難，無稍懈也。”國藩讀詔感泣。時洪秀全被圍久，召李秀成蘇州，李世賢浙江，悉眾來援，號六十萬，圍雨花台軍。國荃拒戰六十四日，解去。三年五月，水師克九洑洲，江寧城合圍。十月，鴻章克蘇州。四年二月，宗棠克杭州。國藩以江寧久不下，請鴻章來會師，未發，國荃攻益急，克之。江寧平，天子褒功，加太子太傅，封一等毅勇侯，賞雙眼翎。開國以來，文臣封侯自是始。朝野稱賀，而國藩功成不居，粥粥如畏。穆宗每簡督撫，輒密詢其人，未敢指缺疏薦，以謂疆臣既專征伐，不當更分黜陟之柄，外重內輕之漸，不可不防。
初，官軍積習深，勝不讓，敗不救。國藩練湘軍，謂必萬眾一心，乃可辦賊，故以忠誠倡天下。其後又謂淮上風氣勁，宜別立一軍。湘勇利山徑，馳騁平原非所長，且用武十年，氣亦稍衰矣，故欲練淮士為湘勇之繼。至是東南大定，裁湘軍，進淮軍，而撚匪事起。
撚匪者，始於山東遊民相聚，其後剽掠光、固、潁、亳、淮、徐之間，撚紙燃脂，故謂之“撚”。有眾數十萬，馬數萬，蹂躪數千裏，分合不常。撚首四人，曰張總愚、任柱、牛洪、賴文光。自洪寇、苗練嚐糾撚與官軍戰，益悉攻鬥，勝保、袁甲三不能禦。僧格林沁征討數年，亦未能大創之。國藩聞僧軍輕騎追賊，一日夜三百餘裏，曰：“此於兵法，必蹶上將軍。”未幾而王果戰歿曹州，上聞大驚，詔國藩速赴山東剿撚，節製直隸、山東、河南三省，而鴻章代為總督，廷旨日促出師。國藩上言：“楚軍裁撤殆盡，今調劉鬆山一軍及劉銘傳淮勇尚不足。當更募徐州勇，以楚軍之規模，開齊、兗之風氣；又增募馬隊及黃河水師，皆非旦夕可就。直隸宜自籌防兵，分守河岸，不宜令河南之兵兼顧河北。僧格林沁嚐周曆五省，臣不能也。如以徐州為老營，則山東之兗、沂、曹、濟，河南之歸、陳，江蘇之淮、徐、海，安徽之廬、鳳、潁、泗，此十三府州責之臣，而以其餘責各督撫。汛地有專屬，則軍務乃漸有歸宿。”又奏：“扼要駐軍臨淮關、周家口、濟寧、徐州，為四鎮。一處有急，三處往援。今賊已成流寇，若賊流而我與之俱流，必致疲於奔命。故臣堅持初議，以有定之兵，製無定之寇，重迎剿，不重尾追。”然督師年餘，撚馳突如故。將士皆謂不苦戰而苦奔逐，乃起張秋抵清江築長牆，憑運河禦之，未成而撚竄襄、鄧間，因移而西，修沙河、賈魯河，開壕置守。分地甫定，而撚衝河南汛地，複突而東。時議頗咎國藩計迂闊，然亦無他術可製撚也。