三個月後，樂羊率兵攻城。中山國的城垣非常堅固，糧草充裕。守城主將晝夜堅守，拆用城中木材磚石，還擊樂羊軍隊。樂羊和西門豹親自督戰，射殺中山國守城的主將。中山國君的謀士眼看城池難守，就向中山武公獻計：“將樂羊兒子樂舒綁在高處，使樂舒哀呼求救，肯定能夠遏製樂羊的攻勢。”
中山國君真的派人把樂舒綁在城頭之上，大呼父親救命。不料樂羊非但沒有退兵，反而大罵樂舒為不肖子。中山國君謀士一看一計不成，又獻二計。他跟中山武公說：“人情莫親於父子，如果把樂舒殺了燉成一鍋肉羹送給樂羊，樂羊必然鬥誌喪盡。我們可以乘著樂羊無心攻伐之際，引兵衝殺，必能製勝。”
中山武公真的把樂舒殺了，命令把樂舒的肉燉成羹連同他的首級，送給樂羊，試圖以此威懾樂羊，削弱樂羊的鬥誌。但是，中山武公萬萬沒有想到，樂羊看到中山使者送來的親生兒子的肉羹，泰然自若，坐於軍帳之下，坦然地吃下去，並對中山國的使者說：“感謝你家主公送來肉羹，我酒足肉飽，待破城之時麵謝。我們軍中也有大鍋大鼎，等候烹製你家主公的肉。”然後出兵攻中山，中山國的使者回到城中還報武公。中山武公看樂羊一心報國，全無痛子之心，自知中山必亡，唯恐破城之後遭到烹燒，急忙換上平民衣服，狼狽地逃到齊國。
中山國的守將出城投降，樂羊痛斥他誤國害民、諂媚敗國，當眾斬殺。公元前406年，樂羊滅掉中山，派西門豹居守，班師回到魏國。
樂羊為了滅中山，犧牲了自己的兒子，雖然戰功赫赫，但也因此引起要臣的嫉妒，他們在君王麵前說他的壞話，讓魏文侯對他產生了戒心，甚至影響了他的仕途前程。
《韓非子·說林上》中記載，魏文侯對他的謀士歎息說：“樂羊因為我而吃了他兒子的肉，真是精神可嘉啊！”可是，這位謀士卻說：“能夠吃兒子肉的這種人，他還有誰不敢吃啊？”這話真夠惡毒，結果真的讓魏文侯對樂羊產生了戒心。
樂羊滅了中山，浩浩蕩蕩班師回朝，魏文侯親自出城三十裏迎接，君臣暢飲。樂羊將珍寶和中山國地圖呈現給魏文侯，文侯親自賜酒。樂羊對這次的功績免不了有些驕傲情緒，文侯把樂羊叫到宮中，把眾臣毀謗他的信件交給他看，樂羊大驚，慌忙跪拜磕頭說：“這並不是臣的功勞，而是大王您的功勞啊！”
對於樂羊的功勞，魏文侯給予獎賞，封他為靈壽侯，讓他長期駐守靈壽，但從此不再重用。他徒有將帥之才，隻能老死在封地上。過了十七年，曾經叱吒風雲的靈壽侯樂羊病逝，葬在了靈壽。
樂羊滅中山後，魏文侯派戰國著名政治家李克治理中山，在中山一些城邑置縣令，管理當地政治與軍事事務。
魏國占領中山國幾十年，一直通過趙國的地盤，實現對中山國的控製。後來，趙國王室發生內訌，兩派打起來，魏國參與了一方。於是趙魏兩國關係惡化，趙國阻斷了中山與魏國的聯係，中山成為孤立無援的一塊封地，為複國提供了機會。約在公元前381年，中山武公的後人在齊國支持下，擁立自己的新君複國。這位中山新君，就是戰國時期創立了千乘之國的中山桓公。
桓公複國後，趕走了世代震懾中山的樂羊的子孫，遷都靈壽，即今平山縣三汲鄉，開創了中山國新的曆史。
這正是：
中山小國磨難多，趙氏爭雄戰滹沱。
魏將樂羊滅中山，治理之功屬李克。