對於少帥親筆寫信招降，他既矛盾又感激：他不過是一個營長，張漢卿麾下有無數強將，竟然能看上默默無聞的自己，且竟然讚詡自己為“國之良將”，頓感有一種知遇之恩。可是自己在馮玉祥帳下效力多年，頗有感情，自古忠臣不事二主，怎能在這種時刻拋棄馮師長？
張漢卿似是明了其心跡，在信的末尾誠懇地說；“我知藎忱（張自忠的字）兄忠義過人，但忠於國家謂之忠，忠於個人謂之義。人民軍以統一國家、強大民族為已任，亟需如兄之人才為輔。盼兄以民族大義為重，舍小義而換得民族複興，則中國幸甚，百姓幸甚！”
思忖再三，張自忠決定加入人民軍，他在留給馮玉祥的信中說：“馮將軍敬啟：藎忱跟隨師長已逾4年，每思報效國家，終恨無門。民國自成立以來，軍閥混戰，民不聊生。張少帥漢卿者，以統一國家振興民族為已任，素為藎忱所敬仰。今將棄君而奔彼地，因行事匆匆，不及麵辭。望將軍能以國事為重，諒解藎忱一片苦心。我聞君子交絕，不出惡聲。臨別贈言，為藎忱肺腑之語。”
張維璽、張自忠兩員大將加盟，使張漢卿欣喜異常。他也言出必諾，安排張維璽任於學忠第8師一旅代旅長，以張自忠任司令部高級參謀兼軍官教導團副團長（軍銜升為上校）。
受其影響，佟麟閣也來到了少帥帳下，同樣也獲得了重用。有樣學樣，馮係士官接連跑了十幾個骨幹，有的甚至是連同所轄部隊一夜之間全部倒戈。
馮玉祥對張漢卿是嚇怕了。他的幾員虎將一個一個先後離開，對他的部隊的穩定和士氣的影響是巨大的。他像一頭暴恕的獅子，將自己關在房內咆哮了一天。不過為了防止更大的損失，他主動放棄了淮河以南的地盤，在皖北的部隊也全部都集中在幾個大城市，以有效避免人員流失。
人民軍援軍先頭部隊是在4天後進入合肥城中的。安徽民眾熱情歡迎人民軍的到來。早就聽說人民軍是民國初年中國軍紀最好的軍隊，真是聞名不如見麵，見麵勝似聞名。合肥大商趙延宗在清晨推開窗戶時，意外地發現自家樓底下的光明大道兩旁整整齊齊的人民軍士兵席地而臥，整整一夜都沒有民眾受到驚擾，這是民國軍閥征戰各方所從沒有的事情，不由得從心底呼喊：“得民心者得天下，人民軍得天下已經不遠了！”