再說羊山集的戰鬥。7月14日，第三縱隊到達羊山集，繞到側後之東南方麵，將蔣軍外圍警戒部隊肅清。第二、六縱隊參戰部隊於15日到達羊山集北4裏之葛山，將蔣軍一個營驅逐，殲滅一部。15日晚，三縱八旅以兩個團由東北攻羊頭，九旅攻南門。八旅攻占了羊頭，16日天明後，因受蔣軍羊身製高點的火力壓迫，站不住腳退下來。九旅攻南門，發現蔣軍在內另築一道寨牆，牆外積水甚深，被阻不能前進。16日晚，三縱的兩個旅繼續攻擊，直到17日天明，仍未奏效。與此同時，二縱以第五旅攻羊尾，第四旅攻西關有了進展，五旅攻占了羊尾，並以一個營迫近羊身；四旅攻占了西關，又進攻西門。16日夜，蔣軍六十六師以不足一團的兵力，由羊山集東南角作突圍之試探，竄入劉莊占了半個村子，三縱九旅當即予以阻擊，清滅其大部，殘餘仍縮回羊山集內，從此蔣軍打消了突圍念頭。17日拂曉，蔣軍在火力掩護下，實行反衝鋒，解放軍因立足未穩，除五旅一個營占領羊山尾部和四旅一個營占領了西關外的獨立屋外，其餘全部退出。四旅因傷亡過重，由六旅接替下來休整。像這樣反複爭奪的戰鬥一直持續到20日。劉鄧野戰軍因對羊山的進攻未能奏效，於是作了部署調整，調來一縱炮兵團及軍區榴彈炮營，配合三縱隊加強攻勢，采取穩紮穩打方式，做好陣地交通壕，站穩腳跟逐步打上去，戰鬥有了新的進展。25日，五旅完全占領羊尾，六旅也占領了西關，攻入西門，第三縱隊也恢複了攻擊，每前進一步都鞏固了陣地。
經過十幾天的戰鬥和情況偵察，劉鄧決定於27日集中兵力對羊山集蔣軍發起總攻，以二縱一部由西往東攻擊，以三縱第七旅和六縱十六旅由北向南攻擊，三縱的另一部由東向西攻擊；並以軍區榴彈炮營和一縱炮兵團的火力，置重點於奪取製高點。攻擊發起後，四麵壓迫，炮步協同，使蔣軍防不勝防。27日晚，十六旅攻進了羊腰，十九團攻占了羊身。奪取製高點後，解放軍步、炮、工兵統一協同動作，從東到西的山頭上，從西到東的街道上，全麵突入蔣軍陣地。可是蔣軍仍在逐房逐院、一個地堡、一個壕溝地作最後頑抗；解放軍也采取逐房逐堡逐壕奪取。戰鬥到28日10時左右，隻剩下大街東北麵蔣軍六十六師師部的一個院子。三縱六旅十八團二連的指導員葛王霞率領30多名戰士，對該院蔣軍發起攻擊，在炮彈和手榴彈的爆炸聲中，蔣軍發出投降的呼聲，蔣軍六十六師參謀長郭雨林舉著手走了出來，代表師長宋瑞珂請求投降，說：“我們投降，隻有一個要求，請饒命。”並說：“請你進去，裏麵還有長官。”當葛指導員走進院子時，一個倒戴帽盔，身穿軍便服的矮個子軍官走出來，強作笑容，規規矩矩向葛指導員行了禮。郭雨林介紹說：“這就是我們的師長宋瑞珂。”宋隻顫抖地說了句：“咱們裏頭傷亡太大了。”就低下頭不作聲了。至此，羊山集戰鬥結束。此戰，俘蔣軍六十六師師長宋瑞珂、參謀長郭雨林、副參謀長王開石、一八五旅旅長塗煥陶、旅參謀長馬用文、十三旅參謀長龍叔平等高級軍官以下9228人，斃傷蔣軍官兵5000餘人，擊落蔣飛機兩架，繳獲野炮12門、輕重機槍367挺、手提機槍158支、長短槍2560支、汽車35輛、電台7部、騾馬430匹。另在阻擊戰中，斃傷俘蔣軍五十八師及三師3000餘人，加上22日在羊山集外圍殲滅蔣軍六十六帥一九九旅全部、十三旅三十八團全部、五十八師一部，整個羊山集之戰共殲蔣軍23452人。為了紀念和慶祝羊山集偉大勝利，劉伯承欣然作《記羊山集戰鬥》詩一首，茲錄如下：
狼山戰捷複羊山，
炮火雷鳴煙霧間；
千萬居居民拍手，
欣看子弟奪城關。
劉伯承在這首詩的附記中寫道：“狼山為殲滅蔣軍三十二師和七十師之處，羊山為殲滅蔣軍六十六師之處，兩山都在巨野、嘉祥、金鄉之間，一係列小山如狼如羊，由北而南行進，為泰山西部之餘脈。”