抗日戰爭結束後，三十三集團軍被改編為第三綏靖區，也曾獲贈“中正劍”的張克俠仍然擔任副司令長官。蔣介石命令第三綏靖區駐徐州地區，用來作為進攻山東解放區的第一線部隊。1946年夏，馮玉祥決心不與蔣介石合作，蔣介石也就決定送馮玉祥“出國考察”。張克俠到南京為馮送別時，經過曾經擔任馮玉祥秘書的王冶秋與周恩來聯係，秘密與周恩來見麵。按照事先的約定，張在一個冷僻的公園外麵上了周恩來的汽車，然後汽車繼續在南京的大街上開行。就在這輛汽車上，張克俠向周恩來彙報了徐州地區的情況，並希望得到下一步工作的指示。周恩來要他回到徐州，掌握好部隊，爭取在適當時機策動國民黨軍隊的高級將領和大部隊起義。
張克俠接受了周恩來交代的任務之後，就在徐州積極做第三綏靖區高級將領的工作。1947年，蔣介石決定成立徐州“剿總”時，經“剿總”參謀長、張克俠在陸軍大學時的同學郭汝瑰的推薦，張克俠出任了徐州守備指揮官，負責管理徐州警備司令部和修築徐州城防的半永久性工事。張克俠利用這一職務，將徐州的軍事情況及工事分布圖完整送給了我華東野戰軍，為解放徐州做出了重要貢獻。當陳毅司令員拿到那本地圖冊時，高興地說“徐州的鑰匙握在我們手裏了”，給予了“勝有十萬兵”的評價。如果不是因為蔣介石對張克俠擔任這一重要職務不放心，以後重新任命李彌擔任此職，張克俠在這一崗位上肯定還會為人民的解放事業做出更大的貢獻。
震驚全國的賈汪起義，就是在我黨的長期策劃之下，在我華東局和華野總部的組織之下，由何基灃和張克俠兩位傳奇式的中共黨員具體完成的。