一開始，張作霖並不十分同意與南方妥協。1926年底，英國公使蘭普森就曾勸張作霖實現南北議和停戰，劃江而治。張作霖卻大搖其頭說，翻開中國的曆史來看，都是北方統治南方，這種狀況不能在自己手裏有所改變。不過，隨著形勢的演變，張作霖開始明白，用武力完全消滅南方革命勢力希望渺茫。尤其當他看到蔣介石具有反共傾向後，在繼續準備戰的同時，也開始試探分化革命陣營的可能。他公開發表講話稱：“餘之起兵非仇抗任何黨派，而專為消滅過激主義，舍過激主義，皆有商量之餘地。”
1927年4月6日，張作霖命令奉軍和“京師警察廳”出動數百名憲兵、警察，包圍、襲擊蘇聯駐華大使館，逮捕包括著名共產黨人李大釗在內的幾十名所謂“赤化”分子，不久，李大釗等一批革命誌士被殺害。這一踐踏國際公法和外交慣例的做法，得到列強各國的默許和支持。蘇聯政府事後立即見召北京政府駐蘇代表鄭廷禧，向中國提出嚴重抗議。當時，鄭廷禧不知詳情，無言以對，搪塞說：“中國政府決不會幹這樣的事，想必是土匪所為。”不料，此話傳到張作霖的耳朵裏，他氣得暴跳如雷，大罵外交人員混蛋。張作霖出身土匪，最忌“土匪”二字，盡管他的所做所為，與“土匪”行為並無二致。
不到一星期，蔣介石也在上海發動“四一二”反革命政變，一方麵宣布與蘇俄決裂，另一方麵大肆屠殺共產黨人。
然而，奇怪的是，張作霖與蔣介石雖在“反赤”的問題上表現出驚人的一致，“南北妥協”最終卻並沒有實現。因為無論是張作霖，還是蔣介石，都想大權獨攬，迫對方臣服。彼此在“反赤”問題上的默契，卻不能化解他們之間在爭奪權力方麵的尖銳矛盾。蔣介石宣布的南北和談的條件是：張作霖下野、安國軍改組、奉係宣布信守三民主義和懸掛國民黨黨旗。張作霖的條件是：“以長江為界，南北分治”，等等。雙方差距太大。
這樣，戰場上分個高低已在所難免。蔣介石在建立南京政府後不久，1927年5月，即調兵遣將，向蘇北、皖北的張宗昌所部直魯軍及孫傳芳殘部發起進攻，開始進行所謂的“第二次北伐”。張宗昌、孫傳芳抵擋不住蔣軍的攻勢，節節敗退，一直退到隴海線以北山東境內。5月底，蔣軍先後占領了蚌埠、徐州。
與此同時，武漢政府所屬的唐生智、張發奎部，也在馮玉祥國民軍的配合下開始“第二次北伐”，進攻河南的張學良所部奉軍，並於5月下旬先後占領開封、鄭州，奉軍被迫退至河北境內。
軍事形勢急劇逆轉，一貫見風使舵的山西軍閥閻錫山，決定倒向蔣介石和馮玉祥一邊，宣布服從三民主義，將所部改換稱國民革命軍，出兵娘子關，威脅京漢鐵路奉軍側背。
顯然，在1927年的5、6月間，形勢變得對奉係十分不利。在此情況下，究竟應取何種對策，奉係內部再度出現分歧。主和派主張與南京蔣介石集團談判，主戰派則表示反對談和。閻錫山歸順南京政府之初，曾受蔣介石之托，派南桂馨到北京，傳達南京的和平條件，勸告奉係與南京合作。為此，奉係也曾於6月9日在京召開幹部會議，商討對策。會上，主和派的意見一度占上風，包括張作相、吳俊升在內，多數人都讚成可在三民主義的範圍內更換名號，與南京合作。但張作霖未作定論，表示要待張宗昌、孫傳芳回京後再議。6月11日，張宗昌、孫傳芳抵京。據說，孫傳芳堅決反對議和，並遊說奉係各將領。因受孫傳芳影響，許多原來拿不定主意的將領，也開始傾向主戰。張作霖也認為南京的條件太苛刻，不能接受。6月16日，奉係將領偕張宗昌、孫傳芳再次在順承王府舉行會議，討論和戰問題。這次會議與9日會議的氣氛完全不同，多數人反對屈從南方，認為不能在如此苛刻的條件下與南京和談，故會議決定，繼續加強戰備，並立即組織“安國軍政府”，統一北方的政治、軍事，與南京、武漢對抗到底，完成“反赤”大業。會上，孫傳芳首先提議，推戴張作霖為“安國軍政府”的國家元首，至於名稱，可稱大元帥，也可稱臨時大總統，或臨時執政。他的意見得到張宗昌和其他奉係將領的一致讚同。張作霖早就想過一過“元首”癮，高興地對大家說：“好極了，你們要怎麼辦，我都依你們就是。”會議最後還決定，仿照孫中山的先例，“元首”暫稱“陸海軍大元帥”，不用臨時總統一類的名義。
會議結束的當天，即由孫傳芳等8位將領聯名發表所謂擁戴電。張作霖則通電表示欣然接受擁戴。就這樣，一唱一和，張作霖算是完成了充當北洋政府國家“元首”的“法律手續”。
接著，6月18日，張作霖又在中南海懷仁堂舉行“陸海軍大元帥”的就職儀式。表麵上，儀式十分隆重，還放了一百零八響禮炮，但實際上參加儀式的僅孫傳芳、張宗昌和少數奉係將領而已，故顯得特別冷清。至於北京市民，態度更是冷漠。舉行儀式的前一天，京師警察廳曾命令各商家懸旗誌慶，各中文報紙一律出紅色報三日。但各報卻推說買不到紅色油墨，隻出了一天。京城百姓對軍閥政府的更迭早就感到厭煩，對“安國軍政府”和張作霖這位“大元帥”也無好感。
就職後，張作霖以“元首”身份發布了軍政府組織令，其中規定“大元帥”亦即國家“元首”，不但權力大大超過“內閣製”或“總統製”的“總統”權力，而且不受任何製約，完全是一個“獨裁者”。
張作霖任命潘複為國務總理，王蔭泰為外交總長，何豐林為軍事總長，沈瑞麟為內務總長，閻澤溥為財政總長，姚震為司法總長，張景惠為實業總長，劉尚清為農工總長，劉哲為教育總長，潘複兼交通總長。
張作霖當“元首”後從事的第一個外交活動，是舉行一個大元帥就職茶話會，邀請各國公使及武官參加。令他大失所望的是，各國外交人員雖應邀前來，卻都穿著常服，且毫無祝賀之語，表明各國對軍政府的成立和張作霖就任國家“元首”並不重視。盡管張作霖在致詞時一再表示，他將“尊重國際信義”，“保護外人之生命財產”，也有能力這樣做，但各國使節對張作霖政府的施政能力根本不相信。