這時，蔣介石已把審查何基灃一案交給當時擔任軍事委員會政治部部長的陳誠處理。陳誠當年在保定軍校讀書時和何基灃是同學，一次陳誠因有一門課不及格而無法畢業又找不到任何人願意幫忙時，是何基灃幫他複習，幫他押考試題，幫他補考過關，在陳誠最困難時拉了他一把，才得以畢業。可是這時的陳誠隻知完成蔣介石交給的審出幾個通共分子的任務，對何基灃進行了好幾次變相的審訊，糾集了最能幹的反共專家如張厲生、賀衷寒、段錫朋等與何基灃“討論國共關係”，想從他的口中套出可以定罪的問題來。可是，經過整整半年的反複審查，除了何基灃承認借給相鄰駐地的新四軍一筆錢的問題之外，找不到其他任何可以給何基灃定罪的罪名。加之馮玉祥、於右任等知名人士對於蔣介石如此對待一個聞名全國的抗日名將的做法深為不滿，蔣介石隻好把何基灃無罪釋放。為了收買人心，臨行前蔣介石還親自為何基灃餞行，要他今後與自己的侍從室保持直接聯係。此外，還特地贈送給他一柄中正劍。
所謂“中正劍”，是蔣介石為了籠絡高級將領和特別重要人士而專門製作的一種佩劍，長一尺三寸，重一斤六兩，柄鍍金，鞘鍍銀，劍身正中刻有“中正”二字。在當時，是極為難得的一種身份與地位的標誌。當何基灃佩上這柄中正劍之後，就成了“佩劍將軍”，國民黨軍政人員見了一般都要畏懼三分。
1940年9月，何基灃佩著中正劍，回到了三十三集團軍，仍然擔任第一七九師師長。一方麵暗中支持李先念領導的新四軍五師，一方麵伺機與日寇作戰。1941年2月，他率領一七九師在當陽廟擊斃了當年進攻南瓜店致使張自忠將軍不幸殉國的日軍橫山少將，為西北軍報了一個深仇。由於馮治安後來擔任了六戰區副司令長官兼三十三集團軍總司令，何基灃遂升任著名的七十七軍軍長。
抗日戰爭結束後，三十三集團軍到徐州地區受降。何基灃和軍中從未有過聯係、互相不知道身份的另一位中共秘密黨員張克俠在對當時形勢進行了分析之後，決定聯合徐州地區的原西北軍部隊（包括西北軍的老部隊和一些原西北軍將領統率的新編部隊，總數近40萬人），組成西北軍大同盟，保存實力，相互支援，暗中與蔣介石抗衡。隻是由於馮治安不敢出麵當這個龍頭，這個計劃才未能實現。而蔣介石則對這一計劃有所察覺，遂把徐州地區的原西北軍部隊加以分散和調動，又將馮治安的三十三集團軍改編為第三綏靖區，調出徐州市，讓第三綏靖區的部隊擺在內戰的最前線，司令部設在賈汪煤礦。
蔣介石發動內戰之後，第三綏靖區的部隊成了進攻我山東解放區的先鋒。何基灃不得不有意打敗仗。對於這一點，馮治安當然看得明白，但又查無實據，隻得將何基灃明升暗降，讓他交出了軍長職權，而當一個有名無權的綏靖區副司令。何基灃遂離開部隊養病，並於1946年夏天到北平為老父辦理喪事時見到了當時在北平軍調處執行部工作的葉劍英和北平中共地下黨市委書記徐冰。葉劍英向他傳達了中央決定，要他仍然回到第三綏靖區去掌握部隊，他的組織關係由原來的中原局轉到華東局。同時商定，由任過他副官的李連城（這時在新四軍五師任警衛營長）擔任聯絡員。葉劍英告訴何基灃：“你回去之後，不要暴露。但到關鍵時刻，要毅然決然地領導起義。到時，陳毅同誌會派人和你聯係。關於組織起義的事，你可以和張克俠商量，他是非常可靠的。”何基灃按照黨中央的指示回到部隊後，就對已經被我山東解放軍打怕了的馮治安做工作，要馮盡可能以保存實力為主，不要與解放軍硬拚。他自己則通過李連城與黨保持著聯係，準備接受新的任務。
當淮海戰役即將打響之時，根據我華東野戰軍黨委的決定，由野戰軍政治部主任舒同具體負責，要策動國民黨第三綏靖區的部隊在戰役打響之時起義，以便我軍迅速地渡過黃河，切斷徐州與黃百韜兵團的聯係，進而圍殲黃百韜兵團。為此，舒同先後派出我華東局社會部交通巡視員朱林和華野十三縱政治部聯絡部長楊斯德為陳毅司令員的代表，前往賈汪，組織第三綏靖區部隊起義。
這時，第三綏靖區起義的主要領導者是副司令長官何基灃。還有一位重要人物，也是身居副司令長官要職，他就是另一位傳奇式將軍、中共黨員張克俠。