此時，孫楚終於堅定了配合八路軍殲滅日軍的決心。
得知郭宗汾率部到來的消息，高桂滋馬上要通了孫楚的電話。
高桂滋說：“孫副總，閻長官和你都曾說，郭軍要來增援我部。我連日苦戰，消耗極大，有的營、連傷亡殆盡，難再支撐。請立即派郭軍前來增援！”
孫楚道：“高軍長，兄弟不是不增援你，而是閻長官和戰區決意令郭軍另行出擊，配合八路軍作戰。請你再堅守一陣，明日情況就會有所好轉。”
孫楚輕輕放下了電話。高桂滋怒罵一句，趕忙又要通郭宗汾。
高桂滋說：“郭軍長，按閻長官的命令，貴軍應來接替我部。我部連日苦戰，傷亡慘重，實難堅持，請貴軍速速前來接防陣地！”
郭宗汾說：“高軍長，我並未接到增援貴軍的命令，恕難從命！”
高桂滋急了：“閻長官和孫副總有命令在先，兄若違抗，隻怕對兄不利，還是請貴軍速來接防為好，不然，陣地若失，責任理當由貴軍來負！”
郭宗汾道：“軍人以服從命令為天職。沒有命令，叫我怎麼行動？請好自為之！”
說完，郭宗汾掛上電話。
他們在電話中的爭執孫楚都監聽到了。但他對這種近乎爭吵的狀況未加節製。郭宗汾來大營東山底指揮部與他商量出擊的具體問題時，問他：“高桂滋軍的情況真有那麼嚴重嗎？”
孫楚連連搖頭：“不瞞你說，高桂滋所報的情況，有真有假，真假難辨。唉，第17軍不是咱們晉綏軍，在咱這裏屬於客軍，隻能相機指揮，他聽則為好，不聽，咱能把他怎麼樣？”
郭宗汾說：“如果他擅自撤守怎麼辦？”
孫楚說：“這個嘛，大敵當前，沒有命令，我諒他不敢造次！”郭宗汾沒說什麼，但一絲隱憂掠過了他的心頭。
孫楚似乎看出了郭宗汾的擔心，說：“載陽，你如果24日夜迅速出擊，就會減輕高部的壓力，到那時問題自會解決。”
24日黃昏，日軍對東、西跑池又發起攻擊，高桂滋十分驚慌。他再次給郭宗汾和孫楚打電話，要求郭軍先增援一部，以便縮短第84師的“單薄”防線。孫楚和郭宗汾都拒絕了他。
此時，第115師正準備出動，並打算派有力部隊向大、小寒水嶺挺進，借以誘導團城口附近的中國軍隊向敵進攻，共同圍殲日軍於鷂子澗、平型關之下。孫楚對集團軍秘書長盧宣明說：“我認為當前戰局形勢很好，高部的吃緊是暫時的，愈堅持愈對戰局有利，不應使郭軍派兵接替高部的局部陣地，而減損出擊的力量。”
災難正悄悄降臨。
入夜之後，孫楚又接到高桂滋求救的電報。他搞不清楚這是高桂滋第多少次求援了。這封電報的措辭更為激烈，甚至提出——“最後哀鳴，伏維矜鑒”、“再無援軍，隻有出於冒犯軍令進行撤退之途”。
孫楚憤憤地將電報紙扔到一邊。集團軍秘書長盧宣明建議：“是否以劉茂恩第15軍一部增援，減輕一點高部的壓力？”
“第15軍陣地同樣受到敵人猛攻，無力出擊！”孫楚不假思索地說。他斷然否決了盧宣明的建議。
然後，他讓副官要通高桂滋的電話，口氣比較嚴厲地說：“高軍長，本人已飭郭軍出擊，請貴軍堅守陣地，以便讓郭軍以全力，一舉衝出團城口，配合八路軍圍殲敵人！沒有命令，不準擅自後退！”
高桂滋說：“孫副總，職已盡了全力，斷難再堅持……”
沒容他分辯，電話裏沒了聲音。孫楚不再理他。他隻好又要通“難兄難弟”——第21師師長李仙洲，說：“李師長，孫楚手中握有一個軍，而不增援咱們，實在可惡！”
李仙洲道：“他不是要讓郭宗汾出擊嗎？”
高桂滋說：“即便出擊，又頂屁用！而八路軍抄擊敵後，兄弟也認為這是孫楚虛構的幻想，他純粹是有意犧牲咱們，而讓晉軍獨占風頭。咱不上他這個當！”
李仙洲問：“軍長有何打算？”高桂滋道：“當務之急，撤！”李仙洲猶豫了。
高桂滋說：“李師長，你撤不撤兄弟就不管了，我將馬上傳令，我的第84師撤至迷回一帶！”
放下電話，高桂滋對他的參謀長說：“派傳令兵下去，命令各團全線撤退！再給閻老西發報，就說我部按長官原定計劃，撤回關內，放敵進到繁峙打！”
一個小時後，東、西跑池、團城口、鷂子澗一帶2公裏寬的防禦地段落入敵手。
而孫楚等人一直蒙在鼓裏。
後來，閻錫山在提到平型關戰役失敗，而獨讓八路軍以大捷的威名揚於中外時，曾極為憤慨地說：“高桂滋放棄團城口，敗壞大局，比劉汝明放棄張家口，更為可殺！”
但是，沒有人殺高桂滋。