經過兩天惡戰，雙方都付出很大代價。六十六師傷亡1000多人，炮彈也快打光了。王敬久擔心六十六師被殲，他將受嚴厲懲罰，於20日命令到達金鄉的整五十八師師長魯道源和他直接指揮的六十六師一九九旅旅長王仕翹率部向羊山集攻擊，為宋瑞珂解圍。
王敬久對魯道源說：“六十六師是陳總長的基本部隊，你們必須到羊山集解圍，否則陳總長不會饒恕你們！”國民黨將領互相推諉，誰也不願打頭陣。王敬久對王仕翹說：“你們師長被圍住了，你不去救誰去救！”
五十八師和一九九旅剛出了金鄉縣城，在萬福河一線就遭到陳錫聯率領的三縱的頑強阻擊。從袁樓到時家店，敵軍在炮火掩護下一次次進攻，都被我軍打了回去。22日，王敬久令一九九旅旅長王仕翹當天必須進入羊山集，否則軍法從事。王仕翹率所部5000人拚死渡過萬福河，向羊山集靠近。
當日夜裏天降大雨，道路泥濘。一九九旅進至羊山集以南三裏的韓樓、劉莊時，陳錫聯命令三縱對其實施圍堵截擊。一九九旅隊伍被打散，王仕翹頭部負傷，部隊失去指揮，被三縱消滅殆盡。王仕翹在莊稼地裏躲了一天，傷痛饑渴難忍，在高粱地裏大喊救命，最後當了俘虜。
陳錫聯率領三縱與二縱一起，圍攻羊山集一個星期，敵我雙方打成了膠著狀態，部隊指戰員難免出現急躁情緒。這時，劉鄧來到羊山集前線，劉伯承對三縱司令員陳錫聯、二縱司令員陳再道說：越是勝利越要細心謹慎，不能疏忽大意，更不能急躁。你們要親自到前沿看地形，了解一下為什麼攻不下來，跟下邊指戰員研究如何打法。總之，不能再拖了，必須盡快把羊山集的敵人殲滅。
陳錫聯和陳再道都直接到前沿看地形，了解情況，重新製訂作戰方案。為了加強攻擊力量，劉鄧將野戰軍榴彈炮營和一縱炮兵團調到羊山集前線，增強了陳錫聯三縱和陳再道二縱的力量，形成絕對優勢。
7月22日天氣轉晴，黃昏時，二縱、三縱向羊山集發起總攻。我軍的炮火集中轟擊羊身的製高點，陳錫聯命令三縱七旅和六縱十六旅一起，向羊身製高點發起攻擊，到22時占領了製高點。敵軍多次組織反衝鋒，與我軍展開激烈爭奪。接著，陳錫聯又命令三縱向羊山集東街發起攻擊，戰士們攻入東街後，與敵人展開了激烈的巷戰。
經過一夜戰鬥，羊山製高點全被我軍控製，羊山集也被我軍突破，敵軍隻控製一些房屋，負隅頑抗。28日早晨天又下起了雨。宋瑞珂召集部下研究情況。一個旅長說：逐屋守備，還可堅持3天。宋瑞珂認為，製高點已被共軍占領，共軍對全村情況了如指掌，自己已是甕中之鱉，再堅持下去已經沒有意義了。到了中午，宋瑞珂見陣地已被突破，指揮部也被包圍，山上解放軍的火力居高臨下往他們頭上打，認為繼續戰鬥下去隻能招致更多傷亡，決定放下武器，停止抵抗。參謀長郭雨林走出房屋接洽投降事宜，得到我方允許後，宋瑞珂及其部下在我軍戰士押送下向西走出羊山集。曆時12天的羊山集戰鬥結束。
羊山集戰鬥是晉冀魯豫野戰軍經曆的最激烈、最殘酷的戰鬥。羊山集原來是個千戶人家的大集鎮，戰後沒剩下一所完整的房子。到處是斷垣殘壁，牆上布滿槍眼。院子裏挖滿了交通溝，門窗全被拆光。全村所有的樹木被砍倒做了工事，糧食和牛羊雞豬全被國民黨士兵吃光。六十六師的頑強抵抗，超過了以往和晉冀魯豫我軍作戰的任何一支部隊，戰鬥中，陳錫聯的三縱和陳再道的二縱都付出了重大犧牲。
戰役結束後，劉伯承的心情相當激動，揮筆寫下了《記羊山集戰鬥》詩一首：“狼山戰捷複羊山，炮火雷鳴煙霧間。千萬居民齊拍手，欣看子弟奪城關。”