李續賓本人也覺察出了孤軍深入的危險，並且一路每克一城，都要分兵留守，當向三河方向進攻時，他身邊的部隊已不足五千人。有部下說：安慶未複，軍行無後繼，腹背受敵，此危道也。並建議回軍桐城，與其他清軍一同攻安慶，這樣各軍相距不超過百裏，可以互相救援。但李續賓卻因為屢奉鹹豐帝詔旨催促，不便退軍。他離開舒城前向鹹豐帝奏報說：“臣所部八千人，因克潛、太、桐城及此間留防分去三千餘人，數月以來時常苦戰，未嚐一日休止，傷損精銳，瘡痍滿目，現已不滿五千人，皆係疲乏之卒。三河一帶，悍賊雖多，自揣足以製之，若遇大股援賊，則兵力亦恐難支。要當盡其所能，以報皇上之恩遇而已成敗利鈍，非所計也。”
這話頗有些“風蕭蕭兮易水寒，壯士一去兮不複還”的味道。為防萬一，他致信湖北請續派援兵。當時三河附近尚有兩支機動部隊：一為李續賓之弟李續宜，率四千人駐湖北黃岡；一支為唐訓方，率三千人駐湖北英山。當李續賓求援信到武昌時，官文卻說風涼話道：“續賓用兵如神，無所用援。”李續賓雖然求援，但不願示弱，遂進攻三河。三河外圍，太平軍築有九座堡壘。11月7日，一番血戰，湘軍攻占了這九座堡壘。在這場戰鬥中，太平軍傷亡七千人，湘軍也傷亡一千餘人，可見其戰況的慘烈。但是，湘軍並沒有攻下三河鎮，太平軍守軍退入城內堅守。而與此同時，陳玉成的援軍已經到達三河附近東、南的白石山和金牛鎮，連營數十裏，對李續賓形成反包圍並切斷其後路，後路湘軍由西麵的舒城增援三河的通路也被切斷。稍後李秀成也率軍來到白石山，另外還有撚軍與太平軍配合。太平軍的人數，有的人說有十萬，有的人甚至說有三十萬。
這個時候，李續賓想退兵也來不及了，但他還要作困獸之鬥。11月14日，李續賓揮軍進攻陳玉成前鋒，陳玉成前鋒敗退，李續賓命軍追擊。次日黎明，湘軍已追過陳玉成主力大營。這時，突然大霧迷漫，對壘雙方近在咫尺，卻隻聞人聲，不見敵麵。兩軍犬牙交錯，混戰起來。
在這樣的情況下，李續賓已無法有效指揮。駐守白石山後的李秀成，聽到炮聲，立即率兵趕到並加入戰鬥，守在三河鎮內的太平軍也從城中殺出，四千多湘軍陷入重重圍困之中。沙場上刀槍飛舞，炮聲隆隆，血肉橫飛。這場慘烈的大戰一直持續到深夜。李續賓戰死，曾國藩的弟弟曾國華也一道戰死。湘軍個別營盤又堅持三晝夜，最後隻有幾十個殘兵敗卒逃出。
三河戰後，陳玉成、李秀成又揮軍進攻舒城、桐城、潛山、太湖。駐守這幾個地方的湘軍已成驚弓之鳥，再加上李續賓已死，缺乏得力的指揮，遂一路敗退。清軍都興阿部也撤安慶圍，一直退到宿鬆，湘軍在安徽又隻占有一角。
三河戰役，對於湘軍來說，是犯了孤軍深入，輕敵冒進的錯誤，與鹹豐帝的瞎指揮、湖廣總督官文以及安徽方麵的勝保的忌妒也有關係。但湘軍的戰術缺少靈活性也是其失敗的原因之一。如果是太平軍處在李續賓的處境，很可能會迅速大規模的撤退以避免被殲滅的危險。湘軍善於穩紮穩打，卻不善於大規模機動作戰。太平天國方麵常常作大範圍、長距離的運動戰，除了株守金陵一條不變外，常常是打得贏就打，打不贏就走。此次擊破江北大營及三河之戰，都是大規模的運動戰。三河戰役，太平天國方麵可以說是成功運用了集中優勢兵力打殲滅戰的軍事原則，而且不是集中一般的優勢兵力，簡直是集中了太平天國的全部精銳。李續賓，號迪庵，與曾國藩同為湘鄉人，羅澤南最得意的學生。羅澤南臨死前，遺囑羅部湘軍由李續賓統帶。這是一支真正的百戰之師，是湘軍的精銳。
正因為李續賓是湘軍第一勇將，屬部又是湘軍精銳，所以李續賓的慘敗，雖然死亡人數並不算很多，但給湘軍的打擊卻是非常沉重的。曾國藩寫給劉蓉的信說：“三河之敗，殲我湘人殆近六千，不特大局頓壞，而吾邑士氣亦為不揚。未知此後尚能少振否？”
胡林翼當時正丁憂在家，一天忽然一士兵快馬趕來，報告李續賓三河之敗，胡林翼看完敗報，突然嘔血暈倒，過了好久才蘇醒過來。其家人惶駭不已，胡林翼稍後在一封信中說：“三河潰敗之後，元氣盡傷。四年糾合之精銳，覆於一旦，而且敢戰之才，明達足智之士亦凋傷殆盡。”
不僅李續賓所部是湘軍的精銳，而且李續賓本人與曾國藩有著特殊的感情。在曾國藩父喪家居，被剝奪指揮權的時候，李續賓和他的弟弟李續宜仍然視曾國藩為湘軍最高統帥，對湘軍的軍事行動都進行請示彙報。由於清廷遲遲不肯讓曾國藩出山，李續賓甚至表示要辭職回家。現在，這一支勁旅就這樣全軍覆沒了，一個對自己忠心耿耿的部將就這樣慘死沙場了。眼看自己的處境剛剛好了一點點，就出了這樣的事情，曾國藩可謂心痛如刀絞。曾國藩挽聯中寫道：“八月妖星，半壁東南摧上將；九天溫詔，再生申甫佐中興。”曾國藩又為曾國華撰挽聯道：“歸去來兮，夜月樓台花萼影；行不得也，楚天風雨鷓鴣聲。”