作為一方軍閥，張作霖不管是否具有愛國心，但此時此刻，他對擁有超強實力的日本隻能是巴結討好，希望在自己羽翼豐滿之前不至於遭到日本人的攻擊或暗算。他深知，在日本人的勢力圈內，隻有取得日本人的支持，才能站穩腳跟，漸次發展。為此，他便不遺餘力地討好日本，以圖取得日本人的好感，並進一步得到日本人的支持。
日本人不是傻子，知道張作霖這樣的中國軍閥們利用他們想幹什麼，但此時的日本還沒有做好全盤侵華的準備，隻能利用中國人維護地方秩序，鞏固他們在東北的既得利益，於是雙方自然開始接近。有了日本人的支持，張作霖就沒有了後顧之憂，這為他擴張勢力打開了方便之門。
然而，誌得意滿的張作霖沒有想到，就在他剛剛和日本拉上關係不久，一場由日本人策劃的針對他的暗殺計劃正在悄悄進行。那麼，日本人既然要利用張作霖為他們服務，為什麼又要暗殺他呢?
原來此時的張作霖已經掌握了奉天省的軍政大權，有了相當的地位。在日本統治集團的內部，對張作霖卻存在截然不同的兩種看法。
這些看法和當時日本極力推行的“滿蒙獨立運動”緊密相關。所謂“滿蒙獨立運動”，其實就是日本人想把內蒙古東部和整個東北變成一個實體，成為一個獨立的國家，建立滿蒙王國，由日本托管。
溫和派認為，要想徹底實現滿蒙獨立，必須利用張作霖在東北的地位，積極鼓動張作霖宣布獨立，這樣東北就會脫離清廷，而日本就可以借自己超強的實力控製局麵，進而事實上占領東北。溫和派的代表人物是日本參謀本部次長田中義一、日本外務省和日本駐奉總領事等人。
而強硬派卻認為，要達到這個目的，就必須依靠宗社黨和內蒙古叛匪。他們的主要代表人物是日本浪人川島浪速等，他們認為張作霖是實現“滿蒙獨立運動”的最大障礙，必須除掉。
這兩派在政見上水火不容，自然互不聯係，各幹各的。於是，川島浪速一夥暴徒策劃了一個暗殺張作霖的陰謀。他們認為“擒賊先擒王”，企圖殺死張作霖，然後趁亂奪取省城奉天，使東北成為宗社黨的天下，日本便可乘機操縱之。
5月27日這一天，天皇之弟閑院宮載仁親王回日本時經過奉天，張作霖為表示尊敬，就到奉天車站去迎送，還特率其部下27師53旅旅長湯玉麟等乘五輛豪華俄式馬車，在騎兵衛隊的護衛下，大張旗鼓地趕往車站。日本駐奉天總領事矢田也到車站迎送。
張作霖送走貴賓後，準備打道回府，剛走到小西關附近，突然一顆炸彈從旁邊一層樓扔了出來，刹那間，小西門大街硝煙彌漫，亂作一團。也是張作霖命大，冥冥中似有天意。那天，張作霖不知怎麼的，讓湯玉麟坐在豪華馬車上走在了前麵，而自己卻乘坐一輛一般的馬車跟在隊伍後麵。炸彈爆炸時，張作霖立馬驚覺，馬上以最快的速度跳上馬背，與自己的衛兵換了衣服，飛馳而去。
他打算繞道從胡同穿過大西門馳回將軍行署，但在路經大西城門裏的奉天圖書館時，突然從圖書館門洞裏跑出來一個人，手拿炸彈向張作霖扔去。但張作霖幹過騎兵哨長，馬上功夫還確實了得，縱馬如飛，扔出來的炸彈在張作霖的身後爆炸，沒有炸到張作霖，卻將那個刺客自己炸中了要害，當場死在了大街上。
張作霖驚慌失措地跑回自己的將軍行署，立即命令衛隊緊急集合，在門口架起了機關槍，高度戒備。督軍署也緊急出動，立刻封鎖了浙江會館、通天街等周圍地區。
一會功夫，遭遇襲擊但隻受輕傷的湯玉麟緊急趕到了將軍行署，他風風火火，來不及下馬就一連聲問：“將軍怎麼樣，回來了沒有?”衛兵回答他早回來了，沒有受傷，湯玉麟這才放下心來。