民國三十五年六月末，謝家昌抵達徐州。薛嶽愴然道：“當年我弟有百十弟兄相隨，並赴國難，氣節雄壯，今隻我弟孤身一人矣！”一言觸動家昌傷心處，不禁淒愴傷懷。薛嶽道：“可曾尋著眾弟兄遺骨？”謝家昌道：“惟黃昌鬆之骸可尋，餘者遍地枯草，無跡可尋。我於家鄉設英烈祠，設弟兄牌位於其內，日夜香火不斷。”薛嶽道：“想我中華大地，遍地忠骨，故我曾在湖南修祠以祭忠烈，蔣委員長曾親題‘忠烈祠’於其上，‘烈’字刻意少寫一點，寓以‘烈士少一點，勝利快一點’之意，我亦曾題‘寇犯盧溝，大波軒起；捐軀衛國，忠勇將士；壯氣浩然，彪炳青史；漢族複興，永湔國恥。’等句，以托哀思。”
謝家昌歎道：“今又同室操戈，實違我願。”薛嶽道：“抗戰之始，毛共就陰蓄軍力，令其部屬不打阻擊戰、陣地戰、運動戰，坐觀政府軍與倭寇搏命廝殺。倭寇行將破敗時，毛共迫不及待令王震部南下，在第九戰區搶占地盤，一直流竄到粵贛之界，被昌儒與餘幄奇聯手擊敗。今共黨擁兵自重，篡盜已顯，若不及時剿除，他日奸黨得勢，國家傾蕩，我等皆為所擄。共黨若得天下，必是蘇俄之翻版，乃民族、民眾之大難。”謝家昌道：“共黨有邪教之性，摧滅人性、人格、人道、個性、自由平等，若天下真歸共黨所有，勢必攪亂世界，窮國家而苦百姓，截斷中華文化脈絡，內鬥內亂將無休止。”薛嶽道：“故此，我等要臨難不顧，殲滅醜類，以拯中華於倒懸。”謝家昌以為然，遂同薛嶽謀兵淮南。
時蔣中正令劉峙率部圍攻共軍李先念部。國軍三十萬眾，分道並進，以強擊弱。李先念所統共軍六萬餘，倉卒之際，盡棄輜重，分道而走，晝夜倉皇。劉峙揮眾據險守要，四麵攔截，擊散共軍數萬餘。共軍將領皮定均率部眾數千，意誌慷慨，鋒銳不可當，擊破國軍攔阻。皮定均不避險阻，身自搏戰，一旅之眾竟得安然。
薛嶽見劉峙建功，遂令謝家昌率第5軍與74師、第7軍各一部進攻淮南。張靈甫身自請戰，道：“我74師三萬於眾，乃百戰之師，獨用我74師，亦可略定淮南。”謝家昌道：“伯陵兄平素器重靈甫，今惜用74師，乃欲用虎威師於緊要之時。第7軍亦是王牌之軍，豈不聞‘川軍滇軍黔軍是隻羊,湘軍是頭狼,桂軍是虎又是狼！’我弟好好用兵，愚兄在後方設宴以待。”張靈甫大喜而去。
於是國軍數路猛攻淮南，勢若雷霆霹靂。共軍意氣益厲，與國軍鋒銳相對。共軍力戰十餘日，糧食乏絕，損傷亦眾，遂收其散卒，連夜遁走。時共軍粟裕親率大軍攻打宣家堡與泰興。第一綏區司令李默庵悉眾聚於城內，死守城垣，漸次消耗共軍，以此策應國軍攻淮南、淮北。粟裕頓兵堅城之下，攻打曠日，相持不下，士卒皆喪氣。李默庵據城困守，內外斷絕，糧食已亦盡，軍兵恐懼不寧。城郊因戰爭之故，田地荒蕪，村落殘破，百姓厭戰亂，棄家流離。
國軍分三路進擊淮北，一路攻至曹八集、雙溝等處；一路擊破共軍阻截，略有靈璧；一路占領朝陽集、漁溝等處。共軍主力急速西轉，欲圖克複失地。謝家昌聞之，即請薛嶽派第7軍乘虛東攻泗縣。第7軍之172師揚兵而東，所向皆破，一連攻克五河、泗縣等處。共軍疲於奔命，複來爭戰，以強兵臨城，猛攻兩日。第7軍之171師馳驟而至，兩師之眾內外夾攻，大挫共軍於城下。
八月下旬，國軍兵分三路：中路李延年攻淮陰；北路馮治安攻台兒莊及魯南；李默庵與粟裕相持，使其難顧他處。薛嶽親臨李延年部督戰，兵分三路：一路越過運河東擊，克定洋河鎮，又於泗河上架起浮橋，擺出渡河架勢；一路屯兵朝陽集、漁溝，威脅山東共軍，使其不敢轉身；一路攻拔濉寧、宿縣，揚兵沭陽。謝家昌令第7軍往淮陰急進，又隨張靈甫部循運河而東，隱蔽跟進。薛嶽知謝家昌已近淮陰，遂大造聲勢，聲言不日將攻取沭陽。共軍陳毅偵知其情，遂將共軍主力布於宿遷、沭陽、漁溝之間候敵。