隻聽得一聲炮響，太平軍從銅官山上殺出。蘆葦蕩中數百條漁船衝出來。
湘勇忙叫：“開炮！開炮！”
但是，湘軍水師大戰船的炮口都是朝著遠處，對於近距離的漁船卻沒有辦法，一通亂轟，不得要領。而太平軍則發揮他們近距離的優勢，用抬槍鳥銃朝湘軍水師戰船射擊。湘勇紛紛斃命。水師氣餒，亂成一團。
“撤！”
但是，進則易，退卻難。湘軍水師戰船隻好朝對麵的銅官渡口撤退。
隻聽得又是一聲炮響，銅官山上又有太平軍殺出。
李續賓罵道：“他娘的，到底有多少長毛呀？情報出了問題？”
這個一向以打硬仗惡戰著稱的湘軍陸師名將也沒了底。
曾國藩在上遊聞警，急開船下來指揮。這時水師早已失去了戰鬥能力。李續賓命令陸師從岸上衝鋒，抵擋銅官山上殺下來的太平軍。但是陸師見水師潰敗，也心慌，但見漫山遍野是黃巾紅巾，個個膽顫心驚，未及交手，即已氣餒，紛紛朝江邊潰退。那裏有一浮橋，可退向另一個方向。
看到湘軍如此訓練缺素，多年的努力付之流水，曾國藩大憤，親自衝過浮橋，來到岸上，督師進擊。他想，湘軍人數也不在少數。他令執旗官插起一麵令旗，於岸邊浮橋附近劃一道線，鼓起三角眼大喝：
“有過此旗者，斬！”
但是潰退的湘勇如潮水，他們繞過令旗，朝浮橋上奔。浮橋是鄉團臨時用舊門板和床板鋪的，這麼多潰勇衝上來，橋也垮了，死傷數百人。
此次靖港之戰，曾國藩的失利完全是因為不小心掉入了太平軍設置的圈套。太平軍算知曾國藩自嶽州敗後，一心隻想求得戰爭的勝利，所以故意在靖港設下埋伏。靖港位於溈水流入湘江的入口，水流很急，船隻有靠很大力氣才能逆流而上。河的對岸是銅官山，山上茂盛的樹林對設埋伏非常有利。因此太平軍乘嶽州之勝後一舉拿下了靖港。當曾國藩準備進攻靖港時，他們在表麵上隻看到了幾百太平軍，而兩萬人馬的太平軍大部隊則正隱藏在銅官山中，等著好好打一個大勝仗呢。
曾國藩見戰事已經無法再繼續進行下去，便混在侍衛群中匆匆上了拖罟（gǔ），盲目地隨著潰船退回到來時的地方。不料，天公不作美，西南風突然刮了起來，本來水流就十分湍急的江麵，這會兒要想逆流行舟更是不可能。曾國藩眼見兵敗如山倒的慘狀，耳邊又聽到有人到處在喊活捉“曾剃頭”，心中想著此次敗績真是有生以來的奇恥大辱，覺得活著也沒有什麼意思了，便步出船艙，兩眼一閉，就向湘江跳去。身邊侍衛根本就來不及進行阻攔。
正當曾國藩行將一命嗚呼之際，一個人從船尾座艙中跳了下來，一把抓住了曾國藩，並將他拖上船去。此人名叫章壽麟，字價人，雖然做的是曾國藩的幕僚，但卻有著出眾的武藝。原來，李元度等人見曾國藩執意攻打靖港，又將遺疏和遺囑都交給他，料定曾國藩在靖港獲勝則已，如果不勝則隻有死路一條。但曾國藩一死事小，他一手操練的湘勇及手下的幕僚又要去投奔誰呢？於是便悄悄地囑咐章壽麟注意曾國藩的一舉一動。
曾國藩被救上船後，心裏感到非常惱火，便指著章壽麟罵道：“你來幹什麼！”為欺騙曾國藩，章壽麟隻好說：“我是來報信的，剛剛接到戰報，說湘潭那邊的戰爭已取得勝利。”曾國藩明明知道他說的不是真的，但此時的他既然有台階可下，也便不再說什麼了。
此時，太平軍在湘軍炮火的阻攔下，已無法對曾國藩的逃軍進行追擊。曾國藩就借此時機，狼狽萬分地逃回了長沙市郊南湖港。
靖港之戰是太平軍給湘軍戴的一個籠子。指揮太平軍靖港之戰的是石祥禎。