之後就是對付段芝貴了。張作霖在對付段芝貴時用了一招借刀殺人，自己坐收漁翁之利。張作霖當時任奉天將軍下第二十七師師長，馮德麟任第二十八師師長。馮德麟與段芝貴矛盾積深，張作霖就趁亂世各地都在鬧獨立之際拜訪馮德麟，說東北的地方就該東北人自己治理，倘若把段芝貴趕跑，按能力、資曆、輩分我們都應該擁護馮師長為將軍。
馮德麟對張作霖這番話很受用，便以複辟帝製的推動者之罪名要對段芝貴興師問罪。這時，張作霖又站到段芝貴一邊充好人，打著保護段芝貴的旗號勸段芝貴逃離奉天。張作霖在火車站送段芝貴離開，還奉上大批金銀，不僅讓段芝貴深受感動，還在當地留下了好名聲。令人想不到的是，段芝貴的火車剛剛出關，張作霖就派人截下了火車，將車上的財物全部充公。張作霖自導自演了一出冒著得罪奉天各界的風險救下段芝貴的好戲，段芝貴父子回到北京後竟然毫不察覺，還到處說張作霖的好話，最終袁世凱任命張作霖處理奉天軍務，兼任巡按使。這一係列事件惹惱了馮德麟——自己忙活半天把段芝貴擠跑了，最後好處全讓張作霖得到，馮德麟從此和張作霖結下了梁子，他動不動就在奉天搞軍事練兵，一副隨時都要拿下張作霖的氣勢。本來雙方旗鼓相當，但是一步錯步步錯，馮德麟搭上了張勳複辟的船，有錢買船票卻沒錢下船，本想複辟之後獨占東三省，沒想到張勳複辟不到一百天結束，馮德麟的名聲也一落千丈。至此，張作霖掌管了整個奉天的軍政大權。
奉天有二虎相爭，黑龍江更是為了督軍職位打得不可開交，總督換得就如看戲一般，最終黑龍江分成了兩個派係——畢桂芳派和許蘭洲派互不相讓。張作霖從其中看到了可乘之機，他以調停兩方為名，乘亂要奪取黑龍江的大權。在張作霖大軍的壓迫之下，黑龍江方麵的軍隊隻能選擇屈服，此時北洋政府因為全力鎮壓張勳複辟，無暇顧及東北。段祺瑞當政之後，張作霖出麵請求調任鮑貴卿為黑龍江總督兼省長。張作霖把握了黑龍江的兵權並與鮑貴卿結成兒女親家，以此來鞏固自己在東北的勢力，這時候，他已經控製了奉天和黑龍江兩省，在北洋政府的政治鬥爭中占有的分量越來越重。
隨著張作霖勢力越來越大，他與北京的聯係也越來越密切。袁世凱死後，北洋軍派係林立，張作霖的奉係軍閥勢力強勁，在對南方軍隊的戰爭中出力不少，他在段祺瑞組閣期間競選副總統失敗，便把目光又轉移到吉林省。這時的北京政府任命張作霖為東三省巡閱使，以平複他競選副總統失敗的不滿情緒。在東北，張作霖一方麵利用東三省巡閱使的權利，把勢力範圍滲透到吉林，同時逼迫徐世昌撤銷孟恩遠的總督職位；另一方麵，他借助日本製造的“寬城子事件”給北洋政府施加國際壓力，為自己爭取了奪取吉林政權的契機，最終張作霖如願以償地控製了奉天、吉林、黑龍江三省，成為了名副其實的“東北王”。
直奉戰敗自稱王
蒙古在北洋軍閥時期也不斷遭受外來勢力的分裂，張作霖在取得了東北三省的實際大權後，開始著眼於蒙古。張作霖出兵平定叛亂之後被北京政府授命為蒙疆經略使，這時的張作霖已稱得上是滿蒙之王。然而張作霖正出兵外蒙古的時候，北洋中央政府出現了變故，張作霖隻能先把精力投入到北京的政權爭奪之中。
直皖戰爭之後，皖係逐漸退出了北京政權的爭奪遊戲，北京政權完全掌控在曹錕和張作霖的手中，徐世昌被他們推選出來擔任大總統，張作霖安插自己的人——靳雲鵬重組內閣以謀求更多的利益，但靳雲鵬的內閣經過三次重組均以失敗告終，歸其原因是內閣內部矛盾重重。政權的爭奪時刻都在發生，張作霖在帶兵打仗方麵是個能手，在政治鬥爭上卻明顯進不了關內的門檻。最終張作霖沒能挽救靳雲鵬的內閣，之後他又推出了梁士詒這個老牌的政治家來進行組閣。梁士詒先後給曹錕等軍閥表態尋求支持，又拉攏張作霖，表示自己上任後一定會在軍餉方麵對奉係進行傾斜，取得了張作霖的好感。因為得到張作霖的大力支持，梁士詒順利當上了總理，組建了自己的內閣。
梁士詒組建內閣，這卻激怒了曹錕、吳佩孚所代表的直係——梁上台後，所有重要職位都沒有直係的人員，恰逢第一次世界大戰結束，各國重新劃分世界，中國作為戰勝國也參加了巴黎和會。在會議上梁士詒為了討好日本，答應承認日本在山東的特權，激怒了全國人民。吳佩孚這時體現出秀才當上兵的先天優勢，奮筆疾書發動了帶動全國輿論的“電報戰”，極力聲討梁士詒，逼其下台。張作霖本來想幫助梁士詒，卻引火燒身，也捎帶著被戴上了賣國求榮的帽子。張作霖本想著隨他罵就罵了，自己獲得實惠才是最重要。哪成想吳佩孚來了一招更狠——發動北京以及各省的四十多個團體聯名通電，討伐梁士詒的罪行。最終梁士詒被淹沒在了大眾的口水之中，沒有勇氣再待在北京，隻好逃到了天津，至此張作霖插手北京政權的計劃失敗。吳佩孚不費槍炮，用一口鐵齒銅牙在政治上贏得了直奉戰爭的勝利。