經過勘測，師部召集了劉震、吳信泉以及28團、29團、30團、師特務團的團長、政委開會，由洪學智主持，研究和部署怎麼打淮陰。因攻打淮陰主要由十旅負責，洪學智要劉震先提出攻打淮陰的具體計劃。劉震提出來以後，大家反複研究，又進行了一些修改論證最終確定攻城方案：以第10旅第28團擔任主攻，集結於城東和東南，第3師特務團、射陽縣獨立團、淮海軍分區新2團從城南、西、北三麵實施包圍，擔負助攻任務。實施多路攻擊，主攻點放在城東北角。
各部隊到達指定位置後積極進行戰前訓練和攻城準備。在第28團陣地上，指戰員一起研究攻城妙策，決定挖一條地道通到城牆底下，再用炸藥爆破。第七連16名戰士和60多名支前民工隱蔽奮戰兩晝夜，挖成了55米長的地道，一口裝有一枚千磅航空炸彈的大棺材通過地道悄悄地送到城牆下，並接通了導火線。在師特務團南門陣地上，他們召開軍民訴苦會，激發廣大指戰員的深仇大恨，掀起殺敵立功運動。
期間，師部還請了一位傾向我軍、和潘幹臣有同學關係的縣長，讓他設法進城去做策反工作，爭取讓潘幹臣投降，但潘幹臣一直拒而不談，態度強硬。我軍得知潘幹臣的態度後，積極作攻城的準備。為了迷惑敵人，我軍連續在晚上襲擾，疲勞敵人，給敵人以我們晚上攻城的錯覺，使得敵人晚上不敢睡覺，白天才睡覺。
9月6日下午2時，攻城部隊向敵發起總攻。第28團第一營通過55米的地道對東北角城牆實施重量爆破成功，各突擊分隊迅即發起猛烈攻擊，僅5分鍾即登上城頭，並打退敵多次反撲，進入縱深區。第28團第2連第5班班長曾家良高舉紅旗，順著雲梯，像箭一樣射向城頭，第一麵鮮豔紅旗在東門城頭高高飄揚。師特務團在南門不能爆破排除障礙，提前5分鍾發起衝擊，雖遭到很大傷亡，仍前仆後繼，架起雲梯，全力登城。第7連第5班班長徐佳標，左手抓雲梯，右手握緊槍，靈活地攀登在最上麵。當他接近城頭時，我軍製高點上掩護攻城的火力不得不暫時停止射擊。就在這時，一個守敵凶惡地舉起馬刀，將他的兩隻手齊腕砍斷，他頓時昏迷在城垛上。而我軍指戰員在鋪天蓋地的衝鋒號聲中，繼續用刺刀和鮮血開辟前進的道路。突然，城牆上冒出敵人一個暗堡，直往外打機槍，使攻城後續部隊遭受重大犧牲。昏迷的徐佳標此時被槍聲震醒了，他便用被鮮血染紅的雙臂支撐著身體，堅強地一步一步地向暗堡爬過去，用自己的身體堵住了敵人的槍眼。敵人的機槍啞了，戰士們呐喊著，潮水般地湧向城牆，衝上城樓。在西門，我攻城部隊在突破敵城防後，一直衝入敵教導營營部，捉住了敵營長和一名號兵。我突擊排長曾當過司號員，他令敵號兵供出號譜，便吹起敵軍的集合號，把已經混亂動搖的敵一個營官兵全部俘虜。3時許，第28團第2營第4連連長張昌義在一位理發工人的引導下，直搗敵指揮部，擊斃了偽師長潘幹臣。3時30分，城內守敵先後投降。敵數百人從西北突圍，也被第30團、射陽獨立團全殲。9月6日下午3時30分，全部戰鬥勝利結束。
淮陰城解放後，陳毅代軍長從延安發來嘉獎電：“淮陰之戰賴我指戰員奮勇用命，於短促時間內突入敵偽堅固城防，擊斃敵首，解放淮陰城，為使我蘇北、蘇中、淮南、淮北打成一片，創造了條件，殊堪嘉獎。”第3師兼蘇北軍區在淮陰城內城南公園召開了祝捷大會，除宣讀陳毅代軍長的嘉獎電和兄弟部隊的賀電外，還宣布師部命令：授予第10旅第28團為“清江部隊”稱號，授予該團第1營第2連、第2營第4連、射陽獨立團第5、6連為“淮陰戰鬥模範連”，授予第28團第2連第4班、第5連第2班為“淮陰戰鬥模範班”，射陽獨立團榮升主力，後編為第3師第8旅第23團。授予曾家良等2人為“淮陰戰鬥登城英雄”稱號；張昌義為“孤膽英雄”稱號；追認徐佳標為“淮陰戰鬥英雄”稱號。同時，第3師黨委和地方黨委決定將淮陰城南門命名為“佳標門”，徐佳標生前所在的班為“佳標班”。