當直係為了權力走向分裂的時候，張作霖卻在關外臥薪嚐膽。或許，如果沒有奉係在第一次直奉戰爭中的失敗，張作霖便很難擁有一支打得了硬仗的東北軍。第一次直奉戰爭之後，既是張作霖最喪氣的日子，也是張作霖一生中最輝煌的時光。此時的張作霖，內抗來自關內直軍的威脅，外拒日本人進占東北的圖謀，並且集中精力訓練東北軍，與直係的日暮西沉不同，奉軍正在冉冉升起。等到直奉雙方再戰山海關，雖然雙方的指揮官依然如舊，但對峙的部隊卻已經完全不同。
（一）
在“整軍經武”的同時，張作霖還要做好的另一件要緊事，便是繼續維持他與孫中山、段祺瑞的反直三角同盟。但孫中山是革命先行者，怎麼會和這兩個北洋軍閥攪在一起呢？據國民黨人寧武回憶，孫中山在1920年曾對他說過，“在國際上要聯俄，學列寧的革命方法；在國內，五四運動正蓬勃發展，中國新青年起來了。這是中國革命的新血液、新生力量。我們要把握時機，取得政權，擒賊擒王。首先必須打倒北洋直係軍閥。因此，我打算即回廣東，重組政府，親率大軍北伐。另一方麵，我們要分化北方軍閥，利用直係與皖係的利害衝突，聯絡段祺瑞，特別是關外實力派張作霖，三方合作，聲討曹、吳”。
而執行孫中山聯合皖奉、討伐曹吳計劃的人就是寧武，因為寧武是東北人，所以孫中山特別委派寧武去做張作霖的工作。而在奉係與孫中山聯係的過程中，奉係方麵負責聯係的人物是薑登選、韓麟春等人，而孫中山方麵負責聯係的則是汪精衛、寧武，可以說這些人都是雙方的巨頭，由此可見雙方對此次合作非常重視。而此時，孫中山在南方麵對陳炯明的進攻，張作霖給予了孫中山足夠的支持，後來孫中山在給張作霖的信中說，能夠平定陳炯明之亂“皆公之大力所玉成也”。三角同盟得以逐漸加固，張作霖又派其司令部參謀處科長傅興沛秘密入京。傅興沛與馮玉祥參謀長劉驥是陸軍大學的同學，平素便來往密切，而劉驥則深得馮玉祥信賴。傅興沛抵京之後，即到劉驥的私邸與其秘密會麵，遂通過劉驥接觸到馮玉祥。此後，張作霖又指派親信馬炳南與馮玉祥的交際處長張樹聲頻繁往來。馮玉祥與直係巨頭吳佩孚素有罅隙，但是讓他真正倒向反直同盟的還是孫中山。
早在1920年，馮玉祥當時還駐紮在漢口，孫中山就派出他的秘書徐謙到漢口，並將孫中山的親筆信交給馮玉祥，希望能夠“加強合作，一致從事革命工作”。當三年後反直三角同盟形成以後，孫中山便派人將與張作霖、段祺瑞聯手的情況告知馮玉祥，並希望馮玉祥能夠早日發動反直的行動。是年年底，馮玉祥聽說教友馬伯援準備去廣東，於是便委托馬伯援代表自己向孫中山致意，表示“待時機到來，一定有所舉動”。原來馮玉祥早在灤州起義時便與南方的革命黨人來往密切，在讀過孫中山的《建國大綱》之後，思想更發生了重大變化。
1923年10月10日，曹錕通過賄選當上總統，在這個階段，孫中山和張作霖往來的信件開始多起來。11月間，孫中山派葉恭綽到張作霖處，對張作霖的資助表達謝意之餘，向張作霖通報軍情，“……我軍為背城之戰，幸將士用命，將敵人主力完全擊破，廣州得轉危為安，從此廣東內部平定可期，而北伐計劃亦可從此施行矣。故特派葉譽虎前來領教一切，並詳報各情，到時幸賜接洽為盼”。
到1924年，孫中山已經逐漸做好北伐的準備，而張作霖和皖係的盧永祥也開始對直係咄咄緊逼。9月1日，盧永祥派其子盧小嘉到奉天麵謁張作霖，請張作霖接濟款械對抗直係，此時，孫中山之子孫科亦北上奉天，於是在奉天召開了“三公子會議”，從而進一步加固了三角同盟。在“三公子會議”舉行的時候，直奉雙方都已經處於備戰狀態，而孫科、張學良和盧小嘉的會麵，也是民國新派勢力之間的一次正麵接觸，隻是與張學良日後的風雲際會相比，孫科和盧小嘉就要相形見絀得多。
此時已經到了第二次直奉戰爭前夕，孫科奉孫中山的命令乘船自上海經大連抵達奉天。孫科後來回憶起這一次與張作霖的會晤，對張作霖的印象頗佳，“張作霖個子不高，人也清秀，毫無綠林出身的樣子。他當時每天都派車子來接我去他的辦公室，共進早餐。早餐也總是那些小米高粱米等熬成的稀飯，很簡單的。吃過以後，他的秘書長就帶著一大堆公文進來。他聽取秘書長的報告後，也馬上用口頭指示。秘書則一旁記錄。因此，每天一百多宗公文，不到一個鍾頭都可處理完畢。顯然他是一個很聰明的人，在他住所花園裏有個拱門，門上刻了‘慎行’兩個字”。