刺殺事件發生後，張作霖和他的部下檢驗了刺客的屍體，發現刺客的腳形有長期穿木屐的明顯特征。從這一點上分析，張作霖認定刺客是日本人。那麼，是誰想幹掉張作霖呢？
張作霖是奉天的督軍，日本人想在中國發展勢力，應該拉攏張作霖才對，為什麼要去殺他呢？難道這裏麵還會有別的玄機嗎？
隨著時間的推移，真相漸漸浮出水麵。想要張作霖死的不是別人，正是日本浪人川島浪速。川島浪速是日本侵華政策的積極推動者，早在袁世凱複辟時期，就策劃過滿蒙獨立運動，妄圖把內蒙古東部和整個東北變成日本托管的領土。張作霖和日本人的接觸，引起了日本內部的意見分歧。川島浪速認為，張作霖是實現滿蒙獨立的極大障礙，必須除掉。但其他的反對派認為，實現滿蒙獨立，需要拉攏張作霖。張作霖當上督軍之後，後者占了上風，川島浪速意識到事情要變質，決定暗殺張作霖，借此在東北製造混亂，為滿蒙獨立活動創造機會。
日本當局認為，扶持張作霖可以加速實現滿蒙獨立，張作霖是一個可以利用的武器。可張作霖沒有想象的那麼簡單，在他的眼裏，日本人不過是他稱霸東三省的一個工具，甚至是他進軍中原的一塊墊腳石。
從1920年起，兩次直奉戰爭相繼爆發。戰後，張作霖的奉係已經完全控製了北洋政府。1927年，張作霖如願以償地當上了北洋陸海軍大元帥，成為當時中華民國的最高統治者，他的地盤從東三省擴大到半個中國，張作霖的勢力在那個時期達到了頂峰。
日本人看到張作霖的勢力越來越大，已難以掌控，試圖遏製他。而張作霖卻認為，進軍中原之後，自己的地位和勢力會越來越強大，他要擺脫日本的控製。因此，日張矛盾日趨激化。
1928年，以蔣介石為首的北伐軍勢如破竹，閻錫山、馮玉祥等實力派紛紛響應，吳佩孚、孫傳芳等舊軍閥節節敗退。眼看著北伐軍直逼京津，1928年5月，張作霖迫於形勢發表了息戰通電，希望結束戰爭，和平相處。而實際上，張作霖是想借和平的幌子，來阻止北伐軍前進的步伐。5月12日，國民黨中央會議決定，置之不理，繼續北伐。
在這期間，日本人一直在觀望，等待乘虛而入的最好時機。他們已經炮製好了《滿蒙新五路協約》。這個協約的核心內容涉及敦圖鐵路、長大鐵路、吉五鐵路、洮索鐵路和延海鐵路5條鐵路，就是要把這5條鐵路的修築權全權委托給日本人。這5條鐵路向北可以運兵攻打蘇聯，向南可以運送軍資，向東可以連接朝鮮，使朝鮮到東北的運輸時間縮短到一天，是相當重要的戰略鐵路網。一旦被建成，日本人就可以借之完全控製東北。
對於日本人的協約，張作霖左右為難，蔣介石正在北伐，他不得不和日本人簽，但是簽了，東北三省就會淪為日本的殖民地。張作霖是個精明人，最後，他想出個主意，拖著日本人，不說簽，也不說不簽，隻做口頭承諾。但拖來拖去，日本當局顯得有點兒不耐煩了。
河本大作，日本關東軍高級參謀，是一個極端的法西斯主義者，決定用武力解決掉張作霖。為達目的，河本大作為張作霖布下必死陣，他的方案是炸毀張作霖回奉的專列火車，炸死張作霖。
河本大作考察了許多鐵路地段，最後選擇了皇姑屯。皇姑屯是個交叉路口，是張作霖回奉的必經之處，恰好也是日本關東軍的守備之地。
河本大作布置得非常周密，鐵軌左右都安裝了炸藥，分別裝在30個麻袋裏，偽裝成護路的沙袋。為了確保刺殺行動萬無一失，河本大作還在鐵軌上弄了些手腳，並且準備了刺刀隊，一旦爆炸失敗，刺刀隊就衝上去趁亂殺死張作霖。