蔣文慶歎道：“噯！如此說來卑職也隻有盡力而為，以死報效朝廷了。”
陸建瀛沒有答應蔣文慶留守安慶之請，隻身回到南京，想早點加強南京防禦。
安徽、江西一帶清軍兵力薄弱，長江兩岸天國陸路軍護衛著水麵龐大船隊從容而下，南岸林鳳祥、李開芳主力已抵江西九江市。
江西巡撫張芾曾到九江部署防禦，跟隨欽差大臣陸建瀛做個樣子給朝廷看。當老鼠峽一戰慘敗，陸建瀛倉惶東逃以後，張芾也隨之離開九江，帶數千江西兵退守南昌。九江地方軍不想送死，聞風而逃，林鳳祥部未動刀槍即占領九江。休息一日盡得城內大炮火藥軍械。九江東去幾百裏便是安慶市，中間隔四個縣城皆已無兵把守，太平軍順利行進。幾日後，北岸胡以晃部又迫近安慶。安徽巡撫蔣文慶督狼山鎮總兵王鵬飛率三千餘人鎮守安慶。太平軍前隊在總製曾發春指揮下，先占領城西高地，給敵陣來一陣猛烈炮轟。
蔣文慶躲在城中衙署內。王鵬飛則率部守在安慶城西。太平軍炮火猛烈，炸得清兵屍首分離血肉模糊。王鵬飛從軍以來，隻打過數次鎮壓農民暴動的勝仗，卻沒有見過如此慘烈的情景，他嚇昏了頭，不顧一切跳上一匹快馬，飛也似的向安慶以北逃去。手下兵勇各自逃命，安慶防禦徹底瓦解。
曾發春率部直入安慶衙署內。安徽巡撫蔣文慶看到‘賊匪’衝了進來，為顯示朝廷大員的勇敢精神，他故作鎮靜，昂著頭、挺著胸，手握一把長劍，企圖作最後抵抗。
曾發春手握大刀直取蔣文慶，本要同他比試武藝，誰知蔣文慶是個文官不懂武術。曾發春向前隻一刀就打落了他的長劍。曾發春哈哈大笑道：“如此無用，還手握長劍裝模作樣，哈哈哈，真是可笑！”
蔣文慶羞憤交集，狂叫一聲撲了過來。曾發春手起刀落，蔣文慶人頭落地，那顆無頭屍體隨著“撲通”一聲倒在地上。
太平軍在安慶獲得大量糧油軍火物資，棄城東下沿江又經過數座州縣，皆無戰事。隻是過了蕪湖以後，遇到福山鎮總兵陳勝元所部的阻攔。這陳勝元乃是欽差大臣陸建瀛的親信，他知道自己是主子的最後一點希望了。為報知己他橫下一條心，率手下兩千餘人占據東西梁山高地，架炮設險扼守江麵。
陳勝元親率一千餘人據紮在東梁山高地，與林鳳祥、李開芳所部的南岸主力展開炮戰，陳勝元將生死不顧，在震耳欲聾的炮聲中，親督手下人打炮，顯示出一點戰鬥力來。
林鳳祥聽到炮聲，風趣地對李開芳道：“老弟，好久沒有過這種戰癮了。既然現在有人陪我們對打，那我們就奉陪到底。”
太平軍又增加了幾門九節大炮，猛轟敵人陣地。有一發炮彈正好落在陳勝元身邊，衝擊波把他掀離地麵幾米高，跌下來時一命嗚呼。主將一死，東西梁山清兵頓時四處逃竄。
經此一戰沿岸再無阻攔。太平軍長驅直入，占州縣皆棄而不守，揮師直奔南京。