1924年9月，即第二次直奉之戰前夕，為了進一步加強奉、粵雙方的合作，孫中山又派長子孫科，帶著自己的親筆信，經大連去奉天，拜訪張作霖。當時，奉、直雙方已劍拔弩張，張作霖十分忙碌，但仍然非常熱情地接見孫科。此次訪奉，孫科對張作霖的印象極為深刻。孫科本以為張作霖既然是草莽出身，一定是身高力大，粗魯忄票悍，充滿殺氣的人。親自見到張作霖後，才發現他個子不高、皮膚白皙、舉止不俗、談吐爽快，倒像一個書生，根本不像當過胡匪、馬賊的人。更令孫科吃驚的是，張作霖雖然讀書不多，但終日精力充沛，幾乎每天早飯後，帥府的秘書長就帶著秘書與應辦的公文，到張作霖的辦公室裏來，然後依次給張作霖讀各地來的函電公文，向他報告軍政方麵的情況，請示處理意見。而張作霖對每一件函電公文也都仔仔細細地聽，然後口頭宣布處理意見，由秘書記錄辦理。有一次，張作霖辦公時，孫科也在場，親眼看到張作霖思維敏捷，答複問題也十分幹脆利落。那天秘書先後給他讀了100多件公文，張作霖隻用了一個多小時就處理完畢。其速度之快，效率之高，孫科若非親眼所見，還真不敢相信。孫科深有感觸地稱讚說：“雨公真乃關外奇才也！”奉、粵聯盟的鞏固，為奉係打敗直係創造了有利條件。
在聯孫的同時，張作霖也在積極地聯絡段祺瑞及殘存的皖係實力派盧永祥。雖然在1920年的直、皖戰爭中，張作霖因痛恨徐樹錚，曾助直反皖，但即便在那時，他也不願直接攻擊段祺瑞。皖係戰敗，段祺瑞下台以後，張作霖又力主保護段祺瑞，並處處庇護失意的皖係政客和將領，以便將來為自己所用。下野後避居天津的段祺瑞手中雖無兵權，但其政治影響不容忽視。段祺瑞需借重奉係實力，而奉係亦要倚重“段老前輩”的這麵大旗。雙方約定，先協力倒直，勝利後由奉張推舉段祺瑞重新上台。
直、皖戰爭後，殘存的最大的皖係實力派就是擔任浙江督軍的盧永祥。勢單力孤的盧永祥，指望得到奉係的支持，使自己的地盤免遭直係侵奪。張作霖也認為，支持盧永祥對反直有利，故奉張與浙盧也在反直的基礎上聯合起來。張作霖為了支持盧永祥，也給了他一筆經費。盧永祥也派自己兒子盧小嘉，到奉天拜訪張作霖。當時，孫科正好也到奉天。張作霖除親自接見外，又派自己的兒子張學良出麵應酬盧小嘉和孫科，社會上便一度盛傳在奉天開了所謂的“三公子會議”。
經過張作霖的努力和其他各方的響應，奉、粵、皖三方確實結成了一個對付直係的“三角同盟”。盡管這個同盟也很鬆散，但畢竟對孤立直係起了一定的作用。
除組織反直力量外，張作霖還利用直係內部的矛盾，對直係進行分化瓦解工作。他同段祺瑞一起，對馮玉祥進行拉攏和收買，並與他達成共同反對曹錕、吳佩孚的秘密協定。
馮玉祥雖是直係的一員大將，但他與曹錕、吳佩孚早有矛盾。由於吳佩孚過於跋扈，又奪了馮玉祥在河南的地盤，馮玉祥憋了一肚子氣。張作霖偵知這一情況後，便和段祺瑞共同策劃，要把馮玉祥拉過來。1923年，馮玉祥與李德全結婚時，張作霖曾授意張學良派人前往祝賀，與馮玉祥搭上關係。以後，因馮部經費困難，張作霖又暗中給予接濟。此外，張作霖還通過段祺瑞策動馮玉祥脫離直係獨立。一番努力果然沒白費，張作霖與馮玉祥初步約定，一旦直、奉交戰，馮軍與奉軍相遇時，“均向天空鳴槍”，互不攻擊。馮玉祥的這一態度後來對第二次直、奉戰爭的進程和結果，產生了重大影響。
在國內廣泛爭取同盟者的同時，張作霖還積極開展外交活動，爭取日本的支持和援助。奉係在第二次直奉戰爭失敗之後，張作霖退守東北，宣布東三省“自治”。盡管張作霖並沒有放棄向關內擴張的野心，但畢竟很合日本政府的心願。日本政府認為，東三省不受北京政府節製，對日本在“滿蒙”地區進行擴張是有利的。因此，日本很樂意幫助奉張。1922年12月22日，外相內田康哉訓令奉天總領事說：如果張作霖專心致力於“維護東三省的治安”，這不僅是張的利益所在，就是對在“滿蒙”具有錯綜而深刻的利害關係的日本來說，“也是極為符合心願的事情”。日本政府“對張的和平政策”，要在盡可能的範圍內予以援助。
正是根據上述方針，1922年10月，日本將存於海參崴，包括步槍、大炮、炸彈、飛機等價值約100萬元的軍火賣給張作霖。次年2月，日本又將購自意大利，存於天津的一批軍火轉賣給奉係。8月，日本再一次將價值約368萬元的軍械運至奉天。為了避免其他西方國家的指責，除直接供應軍火外，日本還幫助奉係擴建兵工廠，以滿足奉軍日益增長的軍火需要。正如日本外務大臣在給其駐華公使的指示中所說：“關於供給武器一節，限於列國關於禁止供給中國武器協定的繼續存在，日本政府不能隻限於考慮、滿足張作霖的要求，倒不如使其設立兵器製造所以求自給。”
不過，日本的支持決不是無償的，而是要通過張作霖進一步擴大日本在“滿蒙”的侵略權益來補償的。這一點張作霖也心知肚明。當時，日本在東北的擴張，主要是進一步攫取東北的路權，掠奪東北的自然資源和租借土地等。日本特別將延伸與南滿鐵路相銜接的“鐵路網”的建設，作為其擴張活動的重點。
1922年間，鄭家屯至通遼的鐵路修通後，日本就力圖修築鄭家屯至洮南的鐵路，以便於它向“滿蒙”西部擴張。為了減少阻力，日本直接找已經宣布“自治”的張作霖交涉和疏通。張作霖很快應允，雙方達成協議：由滿鐵先付810萬日元工程費，由東三省保安總司令張作霖“負責作保”。協議簽字後，鄭洮鐵路即由滿鐵開工鋪設，1923年11月竣工運營。