兩個方向均有顧慮，閻錫山已完全沒了主意。傅作義毅然站起來說：“長官，咱們不能瞻前顧後，而應堅決地首先消滅侵入繁峙之敵，穩定後方，再圖良策！”
楊愛源卻以五台同鄉的口吻提醒閻錫山：“會長，咱們五台人都清楚，熱、察、綏的蒙古人年年朝拜五台山，走熟了從繁峙、峨口通往五台山的大小路徑。偽蒙軍既已進占繁峙，有可能再衝擊峨口，直竄五台山！”
這話說到了閻錫山的痛處——不久前，剛剛修通了一條從峨口通向五台的土公路，這是乘汽車從平型關回五台的惟一道路，如果明日被敵騎所斷，他連回去都困難了！……
閻錫山拍了下桌子，猛地站起來，大聲說：“我看形勢已無法挽回，拖下去弄不好全軍覆滅！”他望著楊愛源和傅作義，又說：“星如、宜生，咱們就下令全線撤退吧！”
散會時，已是30日淩晨1時。
夜色茫茫。深秋的夜晚，寒氣逼人，閻錫山披一件鬥篷騎在驢背上，左右各有一名身材高大的侍衛攙扶著。他向來不敢騎馬，隻能勉強騎驢，而且還要有人照料。楊愛源、張培梅、續範亭等人騎馬跟在後麵。這支奇怪的隊伍在山間崎嶇的道路上緩慢行進，無人說話，隻聽見嘚嘚的馬蹄聲在寂靜的山穀間回響。
開完緊急軍事會議之後，閻錫山決定馬上離開平型關。原打算乘車西行，經峨口去五台，由於繁峙已經淪陷，從平型關無法直達峨口。即便沿滹沱河南岸的一條小路騎馬去峨口，而峨口又離繁峙太近，雖有部隊掩護，也並不能保證絕對安全。楊愛源說：“由東山底直接入山到台懷鎮，有一條山路，雖不能通車，騎馬尚可，而且僅有三四十裏。再從台懷去五台，就方便了。”閻錫山決定走這條山路。隨從們臨時從村內老百姓家找來一頭壯實的毛驢，眾人緊緊張張上路。
走在漆黑的山道上，閻錫山感到憂鬱煩亂，十分疲倦。感慨之際，幾句詩湧到嘴邊：
撤兵令下意淒涼，指揮雜軍愧無方；原由平型複南口，孰意茹越損鑒堂。
——《勾注撤兵》
天上飄起了雪花，更覺寒冷。道路泥濘不堪，騎在驢背上的閻錫山東倒西歪，他執意要下來步行，僅僅走了幾步，又被侍衛扶上驢背。
沿著蜿蜒曲折的小路好不容易爬上距東台頂不遠的山脊，閻錫山突然看到前方山間的黑暗中竟然有點點燈火在閃耀。有人告訴他，前麵就是五台山上的光明寺，那些燈火是廟裏和尚在淩晨時點燃的。麵對眼前的景象，閻錫山又吟詩一首：
雪天徹夜走清涼，飛燈光輝遍山梁；
老人途中遲行進，徒步泥濘衣帶霜。
——《走五台山》
9月30日上午，仍在太和嶺口行營的第二戰區參謀長朱綬光代閻錫山發出內長城一線總撤退令，各路大軍到太原以北的忻口地區集結，全力保衛太原。
同日下午，閻錫山在台懷鎮致電蔣介石，電文中除報告戰況和軍隊部署外，閻錫山又提出：“山指揮無方，喪失關隘，貽誤國事，非特自疚，實為國法所不容，懇鈞座呈請政府嚴予懲處。”
兩天後，蔣介石回電：
吾兄躬親督師，為國宣勞，殊深嘉佩。平型小挫，請毋介懷，仍盼策勵各軍，繼續殺敵，以爭最後勝利。