二月初二，曾國藩在衡山上奏清廷，稱自己“才智淺薄，素乏閱曆”，“本不足統此大眾。然當此時事艱難，人心渙散之秋，若非廣為號召，大振聲威，則未與賊遇之先，而士卒已消沮不前矣。是以與撫臣往返函商，竭力經營，圖此一舉。事之成敗，不暇深思，餉之有無，亦不暇熟計，但期稍振人心而作士氣，即臣區區效命之微誠也。此次“東征”，雖師行倉促，但從船艦裝備上看還是作了精心準備。計有拖罟一號、快蟹十號、長龍五十號、三板艇一百五十號，皆仿照廣東戰艦之式，又改造釣鉤船一百二十號雇載輜重船一百餘號。所配之炮，共有五百餘位。所募之勇，陸路五千餘人，水師五千人。陸路各軍編列字號，五百人為大營，不滿五百者為小營。水路分為十營，前、後、左、右、中為五正營。正營之外，又分五副營。正營旗用純色，副營旗用鑲邊。所備之糧台，帶米一萬二千石，煤一萬七千石，鹽四萬斤，油三萬斤，軍中應需之器物，應用之工匠，一概攜帶隨行。合以陸路之長夫、隨丁，水路之雇船、水手，糧台之兵員、丁役，統計全軍約一萬七千人。”
曾國藩率領約兩萬人馬的水陸兩師，從衡陽啟程，開始著手準備東征的事情。途經長沙，當年的官場對手們看到此時的曾國藩如此風光，個個都來巴結奉迎，握手言歡，說了不少旗開得勝之類的恭維話。曾國藩此行的目的地是嶽州，所以他在長沙城隻停駐了兩天，就再次出發向嶽州去了。
當時，守衛嶽州的是石達開的堂弟石祥禎，他手下有三萬人馬。曾國藩率領軍隊行進，當走到離嶽州城還有三十裏遠的時候，探馬來報，說嶽州城裏太平軍已經消失了蹤影。曾國藩心裏十分高興，以為太平軍一定是對湘軍的聲勢感到害怕，所以就望風而逃了。這樣，曾國藩不費吹灰之力就占領了嶽州城。初戰告捷後，曾國藩立即就將功勞報給了鹹豐帝。
當時的曾國藩，已經被勝利衝昏了頭腦，沒有仔細推敲就認為勝利得來如此之易，領兵打仗不過如此。統帥既然如此，部下也隨之放鬆警惕，全體湘軍中滋生了一種驕傲情緒，由此而招致了緊接下來的失敗。
曾國藩占領嶽州後，王、李續賓帶領一共有一千名湘軍的兩個營向武昌進發。一路上風平浪靜，眾士兵連一個太平軍也沒有看到。其實，到這個時候，將官們應該感到事情的蹊蹺了，但是他們沒有往更深處想，隻認為自己驍勇善戰，威名遠揚，早把那些太平軍嚇跑了。湘勇們因此便放鬆了警惕。這天夜裏，他們宿營在羊樓司。夜間也沒有派兵巡邏。
誰知到了半夜，羅大綱親自率領五千名太平軍士兵，從周圍的山裏衝出，呐喊著向羊樓司衝殺。湘勇們從夢中驚醒，還沒有做抵抗就丟掉了幾百條性命。王、李續賓於忙亂之中隻好倉皇南逃。
禍不單行，三月初七日，嶽州一帶狂風大作，掀起了洞庭湖洶湧的波濤。泊在水麵上的湘勇水師根本無法對付如此的大風大浪，因此溺死了許多人，同時也嚴重損壞了許多船隻，戰船、輜重船漂沉二十四艘，撞傷數十艘。軍心不免動搖。接著，就在太平軍於臨湘羊樓司大敗王部後，三月初十日（4月7日），太平軍就把嶽州攻占了。
曾國藩在太平軍的浩大聲勢麵前，不敢進行長時間的戰鬥，隻好帶著隨從自嶽州城中倉皇出逃。幸好水師船隻前來接應，跑到船上的曾國藩才逃過了此劫。在無可奈何的情況下，曾國藩隻好命令部隊暫時退回長沙，恢複軍心，以再做打算。
麵對敗績，曾國藩已經感到沒有顏麵麵對皇上，因為上次的奏折中自己已誇下了海口。在長時間的充分考慮之後，曾國藩向鹹豐帝上了兩份奏折，第一份奏折就是《嶽州複失水勇退回長沙防剿折》。
這份奏折的主筆人是當時的湖南巡撫駱秉章。身在長沙的駱秉章對於當時接戰的實際情形並不了解，是曾國藩給他提供了具體情況。從這份奏折中可以看出，曾國藩已經徹底掩蓋了兵敗的狼狽情形，而隻是具體描繪了湘勇奮勇殺賊的情形。這樣，退出嶽州城的原因是因為糧草和槍彈不夠，已無法再守城；敗回長沙，是因為要保衛長沙的安全。反正鹹豐帝自己並沒有到過前線，也隻好聽任曾國藩說了。