羊山集戰鬥是晉冀魯豫野戰軍經曆的最激烈、最殘酷的戰鬥。全村所有的樹木都被敵人砍倒做了工事，糧食和牛羊雞豬全被敵人的士兵吃光了。戰鬥中，陳錫聯率領的三縱付出了重大犧牲。
解放戰爭第一年的偉大勝利，使全國形勢發生了重大變化。一年中，解放軍共殲滅敵人97個半旅，連同地方部隊共112萬人，勝利地粉碎了敵人的全麵進攻，並有力地打擊了敵人的重點進攻，奠定了我軍戰略進攻的基礎。
毛澤東確定的第二年作戰的基本任務是：立即由戰略防禦轉入戰略進攻，把戰爭引向國民黨區域，將中國革命推向新的高潮，以爭取在全國範圍內的勝利。並且製定了兩翼牽製、中央突破、三軍配合的戰略計劃。以晉冀魯豫野戰軍主力，於1947年7月以前，在魯西南強渡黃河，躍進大別山；以該野戰軍一部，在晉南突破黃河，挺進豫鄂陝；以華東野戰軍主力，在打破敵人重點進攻後，挺進豫皖蘇。三軍在中原布成品字陣勢，互為犄角，密切協同，殲滅敵人，發動群眾，建立中原根據地。
根據中共中央的部署，6月10日，劉伯承、鄧小平召開各縱隊領導人會議，研究轉入戰略進攻的各項準備工作。22日，劉鄧發出強渡黃河實施魯西南戰役的命令。行動前幾天，以太行、冀南軍區部隊偽裝主力，大張旗鼓地往豫北發起作戰，以轉移對方視線。主力部隊隱蔽地、迅速地從豫北開赴渡河地點。30日，晉冀魯豫野戰軍第一、第二、第三、第六等4個縱隊12萬人在魯西南地區強渡黃河。
劉鄧大軍強渡黃河，不僅出乎國民黨軍統帥部的意料之外，而且渡河的地點又正是國民黨部隊的薄弱環節所在。劉鄧把渡河地點選在東阿至濮縣之間，這裏河寬水急，對方的防守比較鬆懈。由於事前準備周密，又采取突然行動，大軍的渡河相當順利。
蔣介石原來依靠黃河天險，沒有料到劉鄧大軍會強渡黃河，因而對魯西南的作戰部署始終處於被動地位，不但兵力分散，而且是逐次增加。鄆城一失守，趕去增援的右路國民黨軍3個整編師，就成了一個孤立的長蛇陣，進不得，退不得，猶豫不決地分駐在鄆城東南方向的六營集、獨山集、羊山集3個集鎮上，每師相距近15公裏，摸不清解放軍的動向，不知道解放軍要從哪裏下手，不知所措。
魯西南戰役中最激烈的戰鬥發生在羊山集。這是國民黨右路援軍一字長蛇陣的蛇尾。羊山東西長約5公裏，遠遠望去猶如一隻臥地的綿羊。最東麵的小山頭稱羊頭，中間的製高點稱羊身，西麵稱羊尾。羊山集是一個1000多戶人家的大鎮，這個鎮背靠羊山。鎮子形狀狹長，三麵築有寨牆。寨牆外有日偽駐守時留下的壕溝，溝深一丈。駐守在這裏的國民黨軍整編第六十六師屬於陳誠的部隊，裝備精良，營連軍官都是軍校畢業生，中將師長宋瑞珂是黃埔第3期畢業生，在陸大將官班也學習過，在國民黨部隊的將領中是較為出色的人物。1946年，蔣介石發動全麵內戰，宋瑞珂率部打響了全麵內戰的第一槍。宋瑞珂帶領師部和一五八旅、十三旅（欠一個團）駐守羊山集。
在豫北攻勢中，六十六師被劉鄧主力包圍，因為沒有封住缺口，六十六師突圍逃脫。這次六十六師奉命守羊山集，當時連日大雨，羊山集村莊周圍成了一片澤國，進出都很困難。宋瑞珂將所屬的3個團擺開，劃分了防區。將3個炮兵營擺在羊山集後麵的高地上，直屬隊的工兵營、特務營和輜重營在村裏準備巷戰工事。
7月15日夜，陳錫聯率領三縱到達羊山集，部隊立即發起攻擊。三縱八旅的兩個團由東北攻羊頭，九旅攻南門。一夜激戰，八旅攻占了羊頭，天明後六十六師炮兵從羊身製高點向羊頭轟擊，八旅站不住腳，被迫退下。九旅攻入羊山集寨牆南門後，發現敵軍在村裏又築了一道寨牆。牆外積水很深，攻擊受阻。16日又攻了一夜，因敵軍火力很猛，依然沒有進展。二縱於16日夜也開始攻擊，天亮後敵軍在火力掩護下實施反衝鋒，我軍立足未穩，遭受很大傷亡。