於是，曾國藩便遵照鹹豐帝的命令，帶兵出征。這時太平軍在湖北省勢力發展很快，沿江軍事重鎮武昌，在太平軍的強大攻勢下岌岌可危，曾國藩急忙奉皇帝的命令由湖南開赴湖北，協助那裏鎮壓太平天國運動，援救武昌。
1854年7月上旬，曾國藩率領整頓後的水陸大軍從長沙出發，準備經洞庭湖進入湖北攻取嶽州。這次曾國藩帶的軍隊除了湘軍本身擴充外，還有胡林翼帶的二千兵勇，陳輝龍帶來的650名廣勇，以及李孟群帶的廣西水勇一千人，在曾國藩將要出兵時，武昌城被太平軍攻下。
7月16日，塔齊布率領部下七千人占領新牆，前鋒直逼嶽州城。羅澤南、周鳳山率領數千人作為後援部隊。7月24日，太平軍迎戰失利，曾天養率領部下連夜退守城陵磯要塞。城陵磯在嶽州東北二十裏處，扼洞庭湖口，地勢十分險要，是由湖南進攻武昌的必經之地。
8月9日，曾國藩的水師將領陳輝龍、沙鎮邦、褚汝航、夏鑾四人不顧水軍大忌，乘風順水，率部飛舟直奔城陵磯下，正好落入太平軍早已設好的埋伏圈內，結果全軍覆沒，隻帆未返，四人也落水而死。這次戰役，湘軍水師損失又近一半，曾國藩聞報後“傷心隕涕”。
太平軍水戰取勝後，曾天養於8月11日率兵登陸，準備紮營結寨。憑借險要地勢據守於此。曾國藩見到這種情況，急忙令塔齊布從陸路進攻。曾天養倉猝迎戰，塔齊布是曾國藩手下最為得力的一員悍將，精於馬術，善於騎戰，仍保留著旗人入關時的那種彪悍氣質。這一戰是短兵相接，打得異常激烈。曾天養在馬上發現塔齊布後，想擒賊先擒王，大叫一聲便單槍匹馬衝進敵陣，挺槍直取塔齊布。但由於湘軍人多勢眾，曾天養的坐騎不幸被塔齊布刺中，自己也落馬墮入敵營，雖然又刺死敵兵數名，但終因勢單力薄，寡不敵眾，最後壯烈犧牲。曾天養一死，太平軍立刻處於群龍無首的局麵，頓時人心動搖，軍中大亂，再也無心與湘軍爭鋒，隻好向武昌退去。
這一戰之後，湘軍水陸並進，揮師東下。沿途幾乎沒有遇到什麼大的反抗，氣焰逐漸囂張起來，簡直不可一世。據說當時這種情況以水師為最。過去的戰船周圍一般都用牛皮等物圍上，用以防對方的箭矢、槍彈等，起到保護自己的作用。但由於湘軍打了幾次勝仗，便目空一切，非常狂妄，於是他們都扯去防禦用的牛皮等物，赤膊裸胸站在船頭，無所顧忌，仿佛亡命徒似的，及其凶狠強悍。好戰遠遠強於綠營兵。曾國藩後來回憶起這段情景時，曾經不無得意地記述過這件事。湘軍陸師由塔齊布、羅澤南指揮，從嶽州出發，經過羊樓司、崇陽、鹹寧、金口一路直抵洪山、花園一帶。
花園、洪山一帶是武昌城的天然屏障。太平軍在這兩處都設有重兵防守，而要想拿下武昌，就必須先通過這兩個地方。
當水師走到金口時，曾國藩便下令停止前進，這時，塔齊布、羅澤南率領的陸路人馬也恰好抵達金口。曾國藩召集湘軍水陸各路將領共同商討破城之策。羅澤南建議兵分兩路，一路由塔齊布帶領進攻洪山，另一路由自己帶領圍攻花園，防止那裏的太平軍分兵從後路包抄塔齊布一師。曾國藩采納了這個方案。
1854年10月12日，湘軍從金口出發，當天就摧毀了太平軍的花園、洪山防線。第二天進至鯰魚套，並將武昌城附近的所有營壘焚毀殆盡。這樣，武昌重鎮就完全暴露在湘軍的包圍之中。
而負責守衛武昌城的太平軍將領黃再興、石鳳魁等人，要麼是文官，要麼是洪秀全的皇親國戚，都不懂帶兵打仗，眼看湘軍兩萬人馬氣勢洶洶地兵臨城下，立刻喪失信心，驚慌失措，連夜帶領親信人馬匆匆逃到田家鎮。合稱武漢三鎮之一的漢陽守將，見武昌失守，便也棄城逃潰。這如此一來，武漢這一對太平天國至關緊要的軍事重鎮，就這樣被他們輕而易舉地送給了湘軍。更為可恨的是，這群敗類隻顧自己逃命，竟沒有預先通知停泊在水中的大批水師。武昌、漢陽失守以後，這些水軍就被完全封鎖在漢水中，遭到了徹底毀滅，就是守城的士兵也有一大批沒有來得及撤走，他們大多都被湘軍當場殺害或趕到湖水中淹死了。