蔣介石在南京湊集了5個中央執行委員和監察委員，於4月15日召開了一個談話會。決定8項決議：以南京為國都，取消武漢不合法的中央黨部，取消武漢國民政府，取消跨黨分子黨籍等。這就成立了一個南京政府。4月17日，蔣介石在南京成立了國民黨中央。4月18日，南京國民政府舉行成立典禮，成立典禮上還舉行了閱兵式，並宣布《國民革命之方略》四條，儼然以國民黨中央和國民政府正統自居。
從此，革命的武漢國民政府和反革命的南京國民政府形成了對峙局麵。
由於蔣介石的反革命叛變，就造成了國民黨寧、漢分裂的格局。
1927年4月19日，武漢北伐軍在武昌東湖誓師，開始第二次北伐。由唐生智任北伐軍總指揮，還任命馮玉祥為第二集團軍司令，閻錫山為第三集團軍司令。武漢的北伐軍在河南境內先打敗了吳佩孚的軍隊，吳佩孚落荒而逃，5月12日，吳佩孚離開鞏縣向南撤退，又遭到老百姓的包圍，苦戰兩晝夜才得以脫身。
5月21日，張作霖召見了吳佩孚的駐京代表樊鼎，假惺惺地說道：“吳二爺怎麼弄到了這樣的地步？到南陽還是暫住嵩山？怎麼一個字也不給我，也不給我一封信？我很相信他，他卻老是不相信我。”奉軍認為吳佩孚的軍隊雖然占了上峰，但打不過武漢北伐軍。
這一時期，善於觀測風向的閻錫山已經改稱國民革命軍晉綏聯軍總司令，宣布服從三民主義，並接受了武漢國民政府任命的第三集團軍總司令的職務。因此，奉軍的後路受到嚴重威脅。奉軍招架不住，退出河南全境。
5月1日，馮玉祥在西安宣誓就任第二集團軍司令職。5月5日，即分兵五路向東進發，迅速進入潼關。5月26日，攻克洛陽。6月1日，馮玉祥的國民軍到鄭州與武漢的北伐軍會師。在山西的閻錫山卻違約，放跑了北逃的奉軍。此時，武漢北伐軍就暫時停止前進了。
與此同時，蔣介石也於5月1日宣布繼續北伐。5月31日，蔣介石的北伐軍也攻到了江蘇省北部的重鎮徐州，將其勢力範圍擴大到隴海線。這對新成立的南京國民政府是極為有利的。他們沒有遇到頑強的抵抗，張宗昌和孫傳芳在寧滬戰場上剛吃了敗仗，兵敗如山倒。張作霖急忙命令奉魯軍撤至山東，以便保存實力。
此時，武漢政府和南京政府之間展開了激烈複雜的政治軍事鬥爭，無暇他顧。他們都停止了北伐，這使張作霖得到了難得的軍事休整的良機。而張作霖鑒於敵我雙方實力的對比，自知奉魯軍鬥不過北伐軍。因此，張作霖根據楊宇霆的建議，提出了“和國反共”“聯閻討馮”的口號，企圖以黃河為界，劃江而治。
雖然張作霖和蔣介石的秘密勾結沒有間斷過，但是讓張作霖向蔣介石稱臣，張作霖是絕對不甘心的。個人野心極大的蔣介石也不會把草莽出身的張作霖放在眼裏。他們之間還會兵戎相見的。但是，在南方國民黨的兩個政府互相爭鬥之時，張作霖卻在北京經營著他的一件大事。
這件大事，就是張作霖想當全國陸海軍大元帥。這是他孜孜以求的多年夢想，他感到實現這一美夢的時機成熟了。
1927年6月8日，蔣介石向張作霖提出條件，要求張作霖“信奉三民主義”，將安國軍改稱為國民革命軍，張作霖任東北國民革命軍總司令，維持東北自治，以實現“南北議和”。這就是說，讓張作霖臣服於蔣介石，張作霖對此嗤之以鼻。張作霖認為，蔣介石是白日做夢，癡心妄想。蔣介石還動員閻錫山派代表到北京，以奉係“易幟”（改掛國民黨旗幟）為條件，斡旋組成“奉寧晉三角聯盟”，以對抗武漢北伐軍，以便實現蔣介石的大一統局麵。這是蔣介石打的如意算盤，他想不戰而屈人之兵。這也隻是他的一廂情願而已。
兩路北伐軍既然停止北伐，張作霖就可以乘此機會，實現自己的美夢了。
張作霖願意召開國民會議解決時局問題，企圖與南方保持對等的議和地位。但是，就當前的時局，奉係內部應該統一認識。為此，6月11日，張作霖在北京他的府邸順承王府召開了一個奉係高層會議。孫傳芳、張宗昌特意來到北京參加這個會議。會議是討論和戰問題及組織安國軍政府和推選最高統帥問題。會上觀點有別，意見出現分歧。元老派張作相、吳俊升反對投降易幟，主張退守關外；張學良、韓麟春等主張南北議和，守住現有地盤；孫傳芳失掉了地盤，主張戰至最後一人；張宗昌也是主戰的，他不願意放棄山東；褚玉璞同樣主戰，他不甘心失掉直隸。
6月16日，繼續開會時，楊宇霆發言強調北方必須團結起來，才能抵禦南方咄咄逼人的攻勢。他提出組織安國軍政府，這才名正言順，便於號令全國。同時，各省軍隊必須統一名稱，改用安國軍的旗幟，一致服從安國軍總司令的命令。孫傳芳當即表態：“不僅軍事上要服從，政治上也要服從。”
接著，就最高統帥的名稱問題展開了爭論，有的主張推戴張作霖為臨時總統，有的主張仍叫臨時執政。張宗昌主張用大元帥的稱號，他慷慨激昂地說道：“今後的敵人不是北洋係了。非戰不可，不戰必亡。與其入棺材待死，不如痛快大幹。升格之後，即或情勢不佳退出關外，有了大元帥的稱號，猶可仿照孫中山在廣東的局麵，易於號召也。”孫傳芳迫不及待地附議：“擁戴張作霖為大元帥，組織安國軍政府，以解決對南方的用兵問題。”韓麟春等奉係將領都一致讚同。張作霖聽了甚為感動，因此幾天來會議中遊移不定的最重要的問題，乃在這次會議上完全議定。全體一致通過，仿照孫中山的先例稱大元帥。張宗昌說：“既然大家都願意，那麼老將你就坐一帝吧！”
張作霖看了看孫傳芳，問道：“馨遠還有多少兵？”孫傳芳答道：“還有13萬人。現在隻要接濟軍餉子彈，繼續作戰毫無問題。”張作霖立刻答應撥發50萬元，子彈則就近向山東領齲接著，張作霖又認真地問張宗昌、褚玉璞：“你們兩位守得住山東、直隸嗎？”兩人胸有成竹地回答：“進取不足，退守有餘。”張作霖得到滿意的回答，就興奮地說：“好極了，你們要怎麼辦，我都依從你們就是。”好像他是為了別人才勉強當這個大元帥的。
張宗昌不失時機地說道：“我們要發一個全國通電，馨遠老弟領銜最相宜。”孫傳芳當仁不讓，承擔下來。即日深夜，由孫傳芳、張宗昌、吳俊升、張作相、褚玉璞、張學良、韓麟春、湯玉麟聯名通電，推戴張作霖為安國軍政府陸海軍大元帥。
張作霖在同一天發出“討赤”通電，向世人表明了他頑固反共的立常這個電報向蔣介石、閻錫山發出明確的信息，就是希望和他們進行反革命的大聯合。
會議當即決定，北方鎮威軍、直魯聯軍、五省聯軍各項名義一律取消，以後統稱安國軍。以孫傳芳、張宗昌、張學良、韓麟春、張作相、吳俊升、褚玉璞為安國軍第一至第七軍軍團長。安國軍政府成立後，內閣總理由大元帥任免之。大元帥實際就是大總統。為了加強7個軍團長之間的團結，張作霖提議，他與孫傳芳等（張學良除外）7人重行互換蘭譜，結為異姓兄弟。
內閣總理顧維鈞得知決定由潘複組閣，急忙在16日當天親筆致內閣閣員一信，表明辭職。沒有人把顧維鈞的辭職當回事兒。有人說，民國以來，內閣最慘的莫過於這一屆了。
張作霖原來擬於6月17日就職，因為日象不利，遂改為次日申時舉行。張作霖是很迷信的，聘算命瞎子包秀峰為常年顧問，專備占卜修咎。 北京警察廳先於17日預令商家懸旗誌慶，並令各華文報紙一律出紅色報3天，違者禁止發行。但是各報以紅色油墨購買不到為由，僅出一天而止。 北京市民則似一無感覺。18日，長安街自東至西，到順承王府止，三步一崗，每崗有奉軍憲兵及保安隊各一名，持槍危立，異常森嚴。2時後淨街，除安國軍之黃牌車外，概禁通行，電車亦暫停止。向來以繁華著稱的東西兩牌樓，也不許行人通過。4時後張作霖要赴外交部招待各國公使，因自順承王府到外交部，也禁止通行，隻得改道而行。西轅門內寶光門後懷仁堂前，也各架機關槍兩挺。張作霖所乘的汽車上，也架設著機關槍。同時，還有兩架飛機，在空中盤旋。立體戒備，如臨大敵，搞得北京市民怨聲載道。
6月18日，張作霖在懷仁堂就任大元帥職。是日下午2時後，總統府侍從武官常蔭昌及大禮官黃開文乘禮車赴順承王府迎接張作霖。2時50分，張作霖和蔭昌同車到達懷仁堂。嘉賓看到，張作霖身著大元帥禮服，紅光滿麵，神采飛揚。張作霖環視四周，他的同僚和部屬，如張作相、吳俊升、楊宇霆、張學良、韓麟春等都一律軍裝，頭戴高冠，恭候侍立。惟獨張宗昌沒有頭戴高冠，但他的個子比其他人還要高些。孫傳芳的打扮特殊，衣黑紗馬褂，淡藍紗袍。新總理潘複著燕尾服，大禮帽。張作霖和這些賓客略事寒暄，靜聽了孫傳芳的高談闊論。舉行儀式的時間到了，3時30分，黃開文讚禮，張作霖入席，南向立，奏國樂閉，張作霖煞有介事地宣讀誓詞：“作霖忝膺中華民國陸海軍大元帥之職，誓當鞏固共和，發揚民主，刷新內政，揖睦邦交，謹此誓言。”宣誓後，接受祝賀，3時50分即回順承王府。