李瀚章離家不過兩日，安徽形勢發生根本性的改變。鹹豐帝苦心經營的江北大營，竟在一夜間被太平軍摧毀，欽差大臣、督辦江北軍務的德興阿，率殘部逃往邵伯。太平軍旋調集重兵分幾路進入安徽，幾日光景再破太湖、潛山、桐城、舒城、三河鎮等十幾州縣。福濟手握重兵，卻不會使用，把兵權交給李鴻章，又怕李鴻章功高取而代之，致使安徽的局麵比鄰近省份壞得更快。彈指間，安徽便不再是從前的安徽，隻剩四個州縣尚歸巡撫衙門管轄。太平軍很快兵分三路進逼廬州。
福濟一麵火速向朝廷求援，一麵安排退路。太平軍於是不戰而破廬州。福濟率軍一退肥東，再退滁州，這才紮住陣腳。
朝廷震怒，詔斥其調度無方，交部嚴議。福濟有火出不去，竟然遷怒於李鴻章，說李鴻章不聽調遣，辦差無力，揚言要嚴參。
李鴻章從張功的口中得知情況，一時方寸大亂，不知如何應付。
這時，朝廷急調湘軍統領浙江布政使李續賓所部十二營進皖，配合福濟收複已失之地。湘軍的營製有別於綠營，每營定額是五百人。李續賓是統領，曾國藩的胞弟曾國華是這支人馬的副統領。
福濟隻好把滿腔怒火暫且按捺住，急忙派員加緊為入皖的湘軍籌餉。福濟為打擊、排斥李鴻章，竟不派一個差事給他。無奈之下，李鴻章隻好告假回鄉下探視母親。走在路上，他不隻一次地警告自己:“苦誌忍守，以待氣運之轉，即有不如意處，付之適然。”
李鴻章回家沒幾天，湘軍李續賓、曾國華率部便進入安徽，不久即攻下太湖、潛山。後與福濟軍會合，兵鋒更銳，竟又連克舒、桐二城。福濟於是圍廬州，李續賓、曾國華率所部湘軍六千五百人攻三河鎮。九月，湘軍攻克三河鎮，太平軍退走。李續賓、曾國華當日引軍進城。
十一月，太平天國前軍主將陳玉成率部逼近三河鎮。李續賓、曾國華引軍出城迎敵，當日與太平軍大戰於金牛鎮，雙方各有傷亡。到了晚上，三河鎮突起大霧，太平天國抓住這天賜良機，急調兩路重兵環攻湘軍大營，太平天國忠王李秀成也趕來助戰。經一夜的拚殺，六千湘軍無一生還，李續賓、曾國華二將雙雙戰死。
太平軍馬不停蹄乘勝撲向舒城，舒城複被占據。
福濟撥兵去救，未及走到半路，不僅三河鎮、舒城複破，桐城也被太平軍收入囊中。援軍急忙返回。
太平軍在以後的幾天裏，又連占太湖、潛山等州縣，福濟率兵馬一路奔逃，形同漏網之魚，甚是狼狽。
此時，湘軍已移師江西，統帥曾國藩駐節江西建昌。
李鴻章思慮再三，決定到建昌曾國藩處尋條出路。但李鴻章又有些猶豫，他畢竟是安徽巡撫治下的官員，如今離營奔向別處，很有些名不正言不順，難免授福濟以口實。如果福濟拿此事參自己擅自離營，他恐怕有一千張嘴也要說不清楚。