張作霖也是打碎了牙往肚子裏咽，恨自己年少時沒多讀幾本書。他想的是，我嘴上打不過你，那就真刀實槍地打上一場，打到你服為止。張作霖恨不得馬上殺了吳佩孚以解心頭之恨。在確定對直係作戰之後，張作霖廣泛拉結盟友，先找到了皖係的段祺瑞，之後派人到廣州聯係孫中山組成“反直三角同盟”。而此時的吳佩孚已經洞察到了張作霖的動向，張作霖前腳剛建立的同盟，就被吳佩孚用糖衣炮彈各個瓦解，之後吳又用兵力牽製住了一些想做內應的軍官，同時南方的孫中山也遇到了麻煩，自顧不暇。開戰之前，張作霖對這一切還茫然不知，以為一切都在自己的掌控之中。
開戰之前，雙方也是大罵一番，可謂前無古人後無來者，罵夠之後雙方都找足了開戰的理由，1922年4月26日這天，直奉戰爭以吳佩孚率先出擊打響，29日，直奉東西兩路正式交鋒，直奉第一次戰爭全麵爆發。在戰爭人數和戰爭配備方麵，奉係都占有絕對優勢，不過，由於戰略部署不得當，指揮人員素質不高，開戰不久奉係就麵臨全線潰敗。
先是由張景會帶領的西線開始崩潰，土匪出生的張景會對於大的戰爭有心理上的抵觸，未戰先敗。西線的失守導致東線被圍剿，這時張作霖還想奮力扭轉局勢，但在吳佩孚帶領直係將領的追擊下不得不退往關外。這場戰爭雖然以奉係的失敗告終，但張作霖受到的損失不是很大，他大部分主力都回到了關內。這場戰鬥給奉係軍隊上了重要的一課。張作霖也開始認識到新的軍事改革的重要性，開始著手對他的部隊進行整頓。正是因為這一番臥薪嚐膽的努力，張作霖在第二次直奉戰爭中才能取得勝利。他的軍隊一直打到了長江邊，三分之一的中國都成了張作霖的天下。
張作霖失敗退守關內之後，吳佩孚急於讓大總統徐世昌罷免張作霖的各項職務，張作霖索性直接宣布了東三省的自治。張作霖戰敗回到關內，為了顧及麵子，他找了一個比較體麵的說法，說直係本打算和奉係一起出兵南方統一全國，卻沒想到直係的吳佩孚出爾反爾暗中偷襲，才使得奉軍退回關內。東三省的自治也可說是趕上來了一波自治的潮流，當時中國各地效仿西方的聯邦製政體，提出了中國式的聯省自治。
東北宣布自治後，張作霖就開始從自身找失敗的原因，這是一個十分難得的優點。張作霖最後把戰敗的原因歸結到人才，他覺得，必須要培養懂新技術新的軍事管理的人才。在和張學良共同探討過之後，他把培養軍事人才的重任全權交給了張學良，自己則一邊練兵，一邊大搞經濟，東三省進入了平穩而快速的發展時期。
軍事上，張作霖開辦了陸軍東北講武堂，並邀請日本的和留洋歸來的軍官做教官，同時建立軍事特訓處，培養高級軍官，表現優秀的可以破格提拔；之後張作霖還組建了空軍，派了不少學員到外國學習飛行技術，他還購置了各國的飛機，到奉係軍閥末期，奉軍的飛機達到二百五十到三百架，成了當時中國為數不多的空中勁旅。與此同時張作霖還建立了海軍，從日本購買了軍艦，全盛時期東北海軍有大小軍艦二十多艘，在當時的中國海軍也占有一席之地；軍事生產上，張作霖大規模建造兵工廠，其規模連日本人都讚歎不已，想和張作霖聯合分取一杯羹；軍用物資上更是散盡金銀大搞生產，為日後的戰爭做好準備。
教育方麵，張作霖聯合黑龍江、吉林共同組建了東北大學，在當時東北大學的設施和教員都是全國一流的。張作霖為東北的教育事業做了很大的貢獻。
這一切都為張作霖日後長時間立足東北打下了很好的基礎，說到底還要感謝張作霖直奉戰爭的戰敗，才給了東北這麼一個快速發展的機會。張作霖的這些改革影響十分深遠，東北大學現在還是全國知名的學府，從建立至今一直為中國輸送著優秀的人才。雖然當時張作霖以權謀私，是為了自己的權利與戰爭的目的來進行發展，但他對東北三省長遠發展的貢獻是不可磨滅的。