正當閻錫山陷入北方軍閥混亂之時，１９２６年１１月底，廣東革命政府派代表到太原與閻錫山聯係，希望閻派人到武漢研商參加北伐事宜，並由北伐軍軍委名義，授閻錫山為北方國民革命軍總司令職。閻錫山雖早年參加過同盟會，但他不滿革命政府和共產黨合作，因此對於南方政府的提議和授命，沒有立即答應。１９２７年４月１２日，蔣介石在上海發動反革命政變，在南京成立了國民政府。蔣介石手握軍權，是國民黨中最大的實力派人物，南京政府事實上替代了武漢的國民政府。閻錫山見南京政權統治全國的大局已定，便於６月６日宣布就任北方國民革命軍總司令職，並在山西懸掛青天白日旗，成立了國民黨山西黨部。這些行動表明，閻錫山暫時歸順了南京國民黨政權。
閻錫山的歸順，立即招致不久前還與他攜手合作的奉係軍閥張作霖的不滿。張立即派其參謀處長到山西，一方麵暗中窺探閻的舉動，一方麵勸閻歸附“軍政府”，並以“軍政府”副元帥職誘閻。閻錫山知道軍政府是短命的，但不好明說，便婉言謝絕了。並表示：“改易青天白日旗，不一定要與張作霖決裂”；“堅決反共”這一條不變。張作霖雖勸說閻錫山不成，但閻的表態倒也使他放心。於是他分兵兩路南下，一路攻打武漢政府指揮下的張發奎部隊，一路沿淳浦線援救孫傳芳部。與此同時，張作霖又派於珍以檢閱察西部隊為名前往豐鎮平地泉一帶部署軍事。
閻錫山得知張的這一部署後，頗為吃驚，他明白一旦孫傳芳部被救，北方軍事勢力驟強，對已經歸順蔣介石的他來說，後果難以設想。事關重大，不宜遲緩，閻錫山立即行動，在於珍尚未到目的地時，便令張蔭梧在大同將於扣押送往太原，並通電聲討張作霖。９月中旬，閻錫山命分左右兩路軍向北京進攻。右路軍攻取石家莊、新樂後，迅速沿京漢路兩側前進，另以傅作義部由蔚縣出發，向北京東北兩側襲擊。
晉軍在京漢、京綏線上的失利，使閻錫山感到害怕，唯恐打下去損失過重，於己不利，於是命令各線撤退，為了免遭撤退後的打擊，閻錫山以第二軍、第三軍為主力，附關福安師及炮兵，組成右翼地區軍，由徐永昌、楊愛源為正副總指揮，孫楚為前敵指揮，在由固關、娘子關延伸至六嶺關到裏三關之線，構築工事，占領陣地，並以井陘為前進陣地；以第一、七兩軍為主力，附豐玉璽、傅存懷等部及炮兵３個團，組成左翼地區軍；以商震、張蔭梧為正副指揮，在由龍泉關、長城嶺、鐵角嶺至雁門關之線，構築工事，占領陣地；所有由京綏線撤退下來的騎兵，負責陽方口及其以西地區防務；由門頭溝退到繁峙附近的李服膺部，歸左冀地區指揮，在繁峙西留屬，擔任閻錫山的“口袋陣地”。所謂“口袋陣地”，是以五台山和勾注山為口袋陣地兩側，切繁峙平地為口袋底，誘奉軍深入並加以聚殲。
張作霖對閻錫山出兵諸路，企圖一舉消滅奉軍的做法，恨之入骨。因此閻錫山一撤退，張氏立即調集號稱３０萬大軍，以張學良、韓麟春等，沿京漢路南下，以石家莊為根據地，向娘子關南北地區進攻；以張作相、萬福麟、湯玉麟等沿京綏路進攻大同，向雁門關附近地區進攻。奉軍兵力雄厚，來勢洶洶，閻錫山部在奉軍的進攻下，傷亡慘重。但由於閻錫山的晉軍憑險防守，工事堅固，加之傅作義堅守涿州，關鍵時刻給奉軍以極大的牽製，因此閻軍的防守不但始終未被擊破，而且還得以轉守為攻，打退了奉軍的進攻。
閻錫山因歸附蔣介石、懸掛青天白日旗而招引的這場戰事，使自己損兵折將，但他沒有後悔，相反對蔣更加擁護。因為跟蔣走，是他當時唯一的選擇，否則他將受到南、北兩麵攻擊，山西處於朝不保夕的危殆境地；而且依靠蔣介石，消滅奉、直勢力，不但可永遠消除威脅，還可使自己在北方的地位大大提高，從而使自己在南京政府中有舉足輕重的作用。
蔣介石奪得國民黨領導權後，在黨和政府內排除異己，遭到各方壓力，於１９２７年１０月宣告下野，東渡日本。於是閻錫山邀馮玉祥聯名致電蔣介石，要求他回國主持“北伐”戰事。閻還單獨致電蔣介石：“公去國危，個人之去留事小，黨國之存亡事大，願用春秋責賢之義，再挽浪中已去之舟。”其實蔣介石宣告下野，是他的權宜之計，隻是暫時擺脫一下矛盾的困境，並不是什麼自責的表現。因此一個多月後，於１１月１０日從日本回到上海，不久回南京，以黨內同誌的要求為借口，再任國民革命軍總司令。
蔣介石複出後，沒有忘記閻錫山兩份電報中所表示的一片心意。１９２８年２月，蔣在徐州召開軍事會議，任命閻錫山為第三集團軍總司令，統領北方國民革命軍。從此閻錫山成了全國屈指可數的軍界大員，與馮玉祥、李宗仁齊名。