由於61師當時為配屬部隊，又無總前委，指揮係統不暢，4日7時，蔣軍4個團在空軍支援下乘軍艦來增援，上島後分東西兩路進攻，戰場形勢逆轉。登陸部隊7個半連依托炮台山、流水岩一線陣地英勇抗擊，頂住了優勢蔣軍的反複衝擊和飛機、艦炮、地麵炮火的猛烈轟擊。在此過程中，一部分蔣軍俘虜被蔣增援部隊救出。4日晚，第61師的第二梯隊1個營，預備隊1個營，第一梯隊未能登陸的一個半連，以及師直屬隊3個連，上島與第一梯隊共同戰鬥，先後殲滅蔣軍3200餘人，但自己也傷亡很大。戰鬥呈膠著狀態。
由於登步島上蔣軍處於絕對優勢，而且還在不斷增加，解放軍登陸部隊處境困難，胡煒深感自己肩上責任重大：撤退失敗，將會成為千古罪人；撤退成功也僅是個“敗將”。最後，他完全擺脫了個人得失的考慮，果斷地下了撤退的決心，親筆起草了“情況緊張，今晚撤出戰鬥”這一簡短的電報，—麵將決心上報22軍並21軍，一麵立即組織撤退，同時通知留守桃花島的副政委李清泉組織所有船隻，天一黑即來登步島撤運部隊。5日一天，部隊在流水岩山、竹山、野豬塘山東北側一線，擊退敵人十多次進攻，還在陣前小型出擊中還抓了一些俘虜。遂於5日晚開始主動撤離。師長胡煒、副參謀長王超在渡口指揮，按傷員、烈士遺體、機關、部隊的順序登船；指揮所和師首長與掩護分隊最後撤離。在他們登船時，又把僅有的救生衣留下來給後麵的同誌。撤退過程中，解放軍無一傷亡。
登步島戰鬥，解放軍以5/6個營的兵力，連續惡戰50多個小時，抗擊了有海空支援的近7個團30餘次進攻，斃傷俘敵3000人，敵三個團長均被我擊傷，還帶回俘虜數百名。我軍傷亡千人，但沒有丟棄一個傷員。惟一一個在戰鬥中失去聯係的戰士傅祥明，在發現部隊已經撤退後，寧死也不願當俘虜，抱了一根竹竿跳進大海，漂到一個礁石上，靠吃小蟹和小蔥度過10個晝夜，最後被救歸隊。
此戰暴露出當時解放軍在勢如破竹取得大量勝利後，普遍存在的領導層急躁冒進、輕視殘敵、部隊隨意配屬，指揮溝通不暢（22軍竟然未通報61師金門戰敗的消息）和缺乏合成軍立體作戰思想（未出動海空軍或船隻迷惑敵人，使敵迅速判斷出登步島進攻非佯攻，從而敢於很快從各島抽調援兵扭轉戰局）等問題。由於未完成奪島目標，中華人民共和國方麵長期認為登步島戰鬥是一次敗仗，除戰史講授外，基本不在軍內外宣傳。但近來隨著政治意識形態觀念淡化，一些學者指出，登步島戰鬥指揮員在尚不知曉金門戰敗及其細節的情形下，不計個人得失，保全了軍隊，以劣勢兵力殲滅敵人大量有生力量，並在登陸戰中完成使主力部隊無一傷亡、全身而退的極其困難的動作，
戰鬥序列
中華民國
總指揮：朱致一/劉廉一
中華民國陸軍
87軍，軍長朱致一
87軍221師，師長吳淵明
87軍221師66l團，代理團長吳錫麟
87軍221師662團（欠第2營），團長陳謙
87軍221師直屬部隊
67軍，軍長劉廉一
67軍75師224團，團長蕭宏毅
67軍67師199團，團長汪敬熙（6日拂曉前抵達未參加作戰）
67軍67師200團，團長顏珍珠
67軍67師201團，團長李向辰
67軍軍部警衛營
中華民國海軍
艦艇6艇
中華民國空軍
戰機114架次
中國人民解放軍
總指揮：胡煒
21軍61師，師長兼政委胡煒
21軍61師182團，團長陶繼藩，政委程祖光
21軍61師183團，團長杜紹三，政委劉傳新
21軍61師偵察連
21軍61師警衛連
21軍61師九二步炮連
華東軍區海軍第一縱隊，司令員張元培