在張作霖勵精圖治整頓東三省之際，他也沒忘關注關內的紛爭。直奉戰爭之前和孫中山取得聯係後，他們的聯絡就一直沒有斷過，段祺瑞在退居天津後，重新獲得政治地位的心不死，也找到了張作霖為合作夥伴，共同謀劃如何推翻曹、吳。張作霖也一直在等待機會。當他看到直係馮玉祥與吳佩孚的矛盾後，還把馮玉祥拉攏到身邊。此次，張作霖對攻守同盟的結合準備十分充足，時刻準備著一雪前恥。
卷土重來，如願成總統
1924年到1927年這短短的四年時間，是北洋軍閥統治時期戰爭最多的年份，也是北洋軍閥最混亂的時期，各方勢力你方唱罷我登場，張作霖作為當時最有實力的軍閥頭子，在這場充滿刺激與艱辛的鬥爭中畫上了自己政治生涯取得最高權力的符號。張作霖在第一次直奉戰爭戰敗後一直在尋找機會一雪前恥。曹錕通過賄賂議員成為大總統後，北京政權就掌握在直係的手中，直係也以主人自居，越來越囂張跋扈，因此也激怒了不少人，為張作霖聯合各方反對直係統治提供了很好的契機。
第二次直奉戰爭的導火線是直係、皖係在江浙的戰爭，江浙戰爭原因為所屬直係孫傳芳的部隊搶奪皖係盧永祥的浙江的地盤，盧永祥向張作霖求增援。至此引起了直奉的直接開戰，開戰之初張作霖給曹錕寫信，問候其起居，信中提到擔心他被吳佩孚禁足成為傀儡，要是需要幫忙，由於地麵交通不便，可以用飛機來接他。張作霖赤裸裸的挑釁讓曹錕十分擔心，他急忙派人到洛陽請吳佩孚回北京主持戰局。多次邀請後吳佩孚才款款而來，並得到了北京各界人士的歡迎，曹錕授予吳佩孚海陸空大元帥一職，自己也聽從吳佩孚調遣。這時的吳佩孚權利到了極點，在“討逆軍司令部”商討戰略部署上，誰的話也聽不進去，一切部署全按照他的來辦。在戰略部署中，吳佩孚忽略了空軍和海軍的戰略安排，在這次戰鬥中吃了大虧。一方麵，吳佩孚對於奉係軍隊的嚴重低估，在多次戰爭得勝之後被勝利衝昏了頭腦；另一方麵，吳佩孚寄希望於孫傳芳的支援，對馮玉祥的臨陣倒戈毫無防備，最後在吳佩孚的領導下，直係以慘敗收場，北京政府由張作霖和馮玉祥暗中把持。
直係失敗後曹錕被趕下了台，張作霖、馮玉祥又抬出了段祺瑞主持國政，又開始了新一輪對地盤的瓜分。張作霖借由為盧永祥取回其所擁有的浙江地盤，出兵南下。奉係出兵南下，一舉奪得了魯、滬、寧、皖等地。此時的張作霖坐擁中國三分之一的地盤，但地盤多了事情就多了，同患難不能同富貴，一碗水總不能端得十分平。張作霖在對下屬的管理上還延續了做土匪時所沿用的辦法，誰打下來歸誰，誰厲害誰就有地盤，這就招致一些在後方出謀劃策的人的不滿，張作霖在後方指揮部下馳騁疆場之時前院起火，這一把火差一點把張作霖半輩子的經營給燒沒了。
原來，隨著奉係勢力的擴張，其內部也出現了許多小派係，最主要的有兩派：一個是新軍，主要親近張學良；一個是舊軍，主要是跟隨張作霖的綠林英雄。由於張作霖權力過於集中，對下屬功勳的分配不均，又對當時革命者加以迫害，為了籌措軍餉，他還在東北種植鴉片，導致了新軍將領郭鬆齡的反叛。
郭鬆齡召集下屬說明原委，列指張作霖的種種惡行，以此換取下屬的支持，進而達到了反叛的目的。郭鬆齡當時掌握著奉係最精銳的部隊，可以說是張學良的嫡係。張學良對郭鬆齡過於信任，才導致了這支部隊從裝備到供給都獨立於其他各部之外。郭鬆齡帶著這隻勁旅快要打進奉天城，此時的張作霖看著自己建立的軍事帝國將要崩塌，拔出槍就想自殺。在王永江的勸說下，張作霖恢複冷靜，他向日本求助，日本的出麵給了張作霖很大的信心，他決定和郭鬆齡決一死戰。