宿縣素有“南徐州”之稱，高而厚的城牆上可以並行兩輛汽車，城外又有寬而深的城壕，再加上近年來修築的防禦工事，攻城並不容易。
守軍的主力是敵二十五軍一四八師，外加兩個交警總隊、一個裝甲營、一個軍官補訓隊，部隊總人數雖然不多，但是裝備相當好，戰鬥力並不弱。陳毅和鄧小平派出攻打宿縣的主要部隊是陳錫聯的三縱和秦基偉的九縱。中野四縱和已在商丘地區的華野三縱與兩廣縱隊由北直插徐州和宿縣之間，從南麵逼近徐州。中野一縱則進入宿縣以西地區，作為戰略總預備隊，同時監視向東來的黃維兵團。中野總部還決定，攻城之戰由陳錫聯統一指揮。
陳錫聯帶領中野三縱通過長途奔襲，在離開指揮部的第二天就到達宿縣，兩天時間就清掃了外圍，占領了車站，將宿縣包圍起來。陳賡率領的四縱也在這天趕到了徐州以南的曹村，而且消滅了正由宿縣向徐州靠近的孫元良兵團後衛部隊第四十一軍軍部和一二二師的3400餘人，切斷了徐州和宿縣之間的聯係，並對徐州形成了威逼之勢。徐州城中的劉峙以為我軍要進攻徐州，急忙命令邱清泉派出了兩個師的兵力，企圖把我軍趕走。可是連續發動了十餘次進攻，我四縱仍然牢牢地守衛在徐州以南的陣地上，對於攻打宿縣的部隊起到了很好的掩護作用。
要說打宿縣，對於中野的兩個主力縱隊來說，並不是什麼難事，麻煩的是缺少重炮。中野主力都是春天才從大別山中出來的，當年為了千裏躍進大別山的需要，把手中的重型武器都丟了。出大別山之後，打的大仗還不多，蔣介石這個運輸大隊長送過來的重炮也還沒有能夠收到多少。在這種情況下，攻打宿縣這樣有堅固工事的古城，就主要靠派出爆破組用炸藥爆破，這樣打，犧牲較大，進展則較慢。陳錫聯隻能一方麵調集自己手中的山炮、野炮和榴彈炮，一方麵布置組織爆破。這時陳毅特地從華東野戰軍調來了8門榴彈炮，大大增強了攻城力量。
11月15日，在陳錫聯的指揮下，攻城部隊發起了總攻。三縱的七旅打東門、八旅打北門、九旅打西門，三縱副司令員劉昌毅負責第一線的指揮。當30門重型火炮一陣猛轟之後，攻城部隊衝了上去。先是在城壕上強行架橋越壕，然後進行城下的連續爆破，突入城後與敵人進行逐街爭奪。僅用了10個小時，中野就拿下了重要的戰略據點“南徐州”宿縣，殲敵一四八師和交警第十六總隊一萬餘人，生擒敵津浦路護路總司令部副司令兼宿縣城防司令張績武。
在中野三縱攻下宿縣的同時，中野九縱和豫皖蘇軍區的獨立旅攻占了蚌埠以北的固鎮。這樣，從曹村到固鎮之間近150公裏的津浦路完全被我控製，徐蚌線被我完全切斷，徐州之敵被完全孤立。
對於攻宿縣這一戰，從豫西趕到臨渙集的劉伯承十分滿意，他高度稱讚這種“黑虎掏心”式的打法，他說：
這樣一來，淮海戰場上敵人的七個兵團被分割成四坨，徐州“剿總”完全陷入戰略圍剿之中。徐、蚌首尾不能相顧，這對殲滅黃百韜兵團，創造了極為有利的條件。