當他飛馬經過奉天圖書館時，再次遭人暗殺。當時，從圖書館裏跑出來一人，手裏拿炸彈，看到張作霖騎馬而來，便把炸彈向他扔去。可笑的是，隻炸飛了張作霖的帽子，而扔炸彈的那個人卻被彈片擊中要害，當場死亡。
這一次是日本人第一次謀害張作霖。日本人到處宣揚說，這次暗殺一定是宗社黨所為。其實張作霖背地裏早已查清是日本人幹的。但當時的奉天屬於日本人的勢力範圍，他也沒敢怎麼著，隻能忍氣吞聲，采取不予追究的態度。
但這一次事件讓張作霖知道，做日本人的傀儡是極度危險的，以後要加以提防。在以後他和日本人來往的十幾年中，他利用日本人達到自己的目的，同時也拒絕了日本人過分的要求。
1916年6月，袁世凱死去。北京政府由段祺瑞操縱，而張作霖則掌握著奉天的軍政大權。1917年，張作霖又取得了黑龍江的控製權。1919年，在日本人的幫助下，張作霖成為“東北王”。
當北洋軍閥內部發生戰爭時，一直在日本人的安排下支持段祺瑞的張作霖改變了支持目標，倒向直係一方，他暗中加入了反皖聯盟，成為直係一方的主力部隊，給段祺瑞狠狠的一擊。段祺瑞戰敗後，張作霖便和直係首領曹錕一起把持北京政府。野心勃勃的張作霖一心想獨占北京政府，於是又和直係發生戰爭。由於張作霖的部隊沒有經過正式訓練，都是土匪組成，素質差，沒有紀律，所以戰鬥力低下，最後以失敗告終。
這次的失敗讓張作霖明白，要想打勝仗必須要擁有一支能征善戰的軍隊才行。於是在日本人的幫助下，他推行“精兵主義”，設立陸軍整理處，編製建立了一支武器精良的軍隊，還成立了一支“鎮威軍”，從而使奉軍的戰鬥能力有了很大的提高。這期間張作霖還四處聯係，和皖係、廣州政府達成“反直同盟”，一起攻打直係。
直係的瓦解讓張作霖取得了繼續向東南延伸的機會。他先後占據了山東、江蘇、安徽等地，然後直達上海。但這個時候，他又遭到閩、贛、鄂、蘇各省聯軍的全麵進攻，與此同時，張作霖的後院起火，他的部下、擁有重兵的郭鬆齡起兵反他，和馮玉祥一起占領了錦州和山海關，然後直取奉天。雙重壓力讓張作霖備感驚慌。他不得不逃往大連，同時尋求日本人的幫助。
日本人見張作霖有求於自己，便趁火打劫，提出了過分的要求，但是張作霖為了滿足自己的野心，也沒細想便簽了字。
張作霖得到了日本人的協助，郭鬆齡大敗後身亡。
1926年，張作霖又與直係一方聯合，共同對付段祺瑞，並把馮玉祥的國民軍趕走了。同年6月7日，張作霖進京和吳佩孚握手言和，北京城的大街小巷又出現了東北軍。
1927年，一群以田中義一為首的日本人召開所謂的“東方會議”，目的就是確定日本對中國的政策。會後，田中義一寫了奏折上奏日本天皇。核心內容便是：“欲征服世界必先征服支那，欲征服支那必先征服滿蒙。”這說明張作霖已成為日本“新滿蒙”政策最大的障礙。更讓日本人除去張作霖的另一原因是：自張作霖進入北京以後，便不受日本人的約束，越來越不聽日本人的話了。張作霖覺得，以前在東北是需要日本人，但現在在北京，不能單純依靠日本人，還要依靠英國和美國。他想利用英美兩國的勢力來削弱日本人的勢力。為此他做出了一些讓日本人非常痛恨的事。日本多次向張作霖提出警告，可張作霖表麵一套，背地一套，依然我行我素。
1928年1月，蔣介石發動了“二次北伐”。南京方麵派人向日本代表表示，如果日本人能將張作霖勸回東北，南京政府決不會攻打關外。日本軍部派人進京勸張作霖放棄北京，回到關外，張作霖猶豫不決，不知怎麼辦才好。
同年5月，北伐軍打到北京，此時的張作霖還想借助日本人的幫助，繼續留在北京。可日本人不答應張作霖的請求，並讓他盡快退回關外，還強迫張作霖接受日本對東北提出的全部要求。