5月17日晚，日本公使芳澤來見張作霖，要求張作霖答應日本人的要求，這一次張作霖和芳澤發生了激烈的爭吵。
第二天，日本政府宣稱：“當戰亂進展至京津，並禍及滿蒙時，帝國政府為了維持滿洲治安，必將采取適當而有效的措施。”
張作霖對此發表聲明，規勸日本人不要做出違反國際慣例的行為。此時，張學良、楊宇霆及眾多將領也都勸張作霖離京。
5月30日，張作霖、張學良、楊宇霆、孫傳芳等人在北京大元帥府商議軍事，會議結束後便下令撤退。
6月1日下午，張作霖在懷仁堂與外交團告別。
2日，張作霖發表了“出關通電”，宣告“退出京師”。
3日下午7時，張作霖一行人進站，並與前來送行的官員告別。晚上8時，列車啟動。
剛開始列車上的人們都擔心會有危險，因為最近張作霖和日本人鬧得不可開交，特別是和芳澤發生的那次衝突更讓人擔心。加上在此之前，曾接到奉天憲兵司令齊恩銘發來密電，說老道口有些反常，不許行人通過，提醒張作霖小心，而張作霖卻對此並未在意。
當專列已過天津時，張作霖的親家靳雲鵬因有事下車。車到達山海關時車上的人有些緊張，直到平安開出山海關，大家才放了心。
6月4日5時左右，大家擔心的事情終於發生了，而且誰也沒想到會這樣可怕。隨著一聲巨響，震驚中外的皇姑屯事件發生了。
張作霖被炸事件發生後，人們都在猜測：究竟誰才是幕後黑手？
一種說法是張作霖內部所為。一種說法是日本人幹的。還有一種說法是國民黨北伐軍幹的。
爆炸案發生的第二天，日本領事館官員便來到奉天交涉署，要一起調查此案。被派到現場的是奉天交涉署第一科科長關庚澤，經過仔細勘察，他認為本次行動是經過精心策劃的，同時專家們斷定，本次行動所安置的爆炸物必須是專業人士在6個小時以上才能完成的，而這裏是日軍管轄範圍，日軍戒備森嚴，其他人不可能在這裏待這麼長時間。
調查後的第二天，日本領事找到關庚澤，讓他簽一份事先擬好的報告，而報告的內容就是認定爆炸案是由南方的便衣隊所為，關庚澤當場拒絕簽字。
後來，日軍把案發現場徹底破壞，讓案件無法調查下去。
在日本投降後，遠東國際軍事法庭再次對皇姑屯事件進行了審理，前後花費很大的精力，雖有蛛絲馬跡，可本案中涉及的證據及信件都已找不到了。
1960年，“皇姑屯事件”又有了新的進展，案發32年之後，真相終於水落石出。
其實在1928年5月，日本政府就下令除去張作霖，因為日本政府認為張作霖是日本軍侵占東北的最大障礙。
日本人村岡本想在北京暗殺張作霖，但由於張作霖在北京耳目眾多，不方便下手。於是就選擇在張作霖回東北的路上下手。本次暗殺任務由日本關東軍高級參謀河本大作親自負責。他先是成立了一支行動小組，然後查清了張作霖出發的具體時間及所坐專列的全部情況。
6月2日半夜，日本軍悄悄地將炸藥及電線等物品運到南滿鐵路與京奉鐵路相交的地方。然後他們把炸藥安放在橋墩上部，布好電線，一切準備就緒後才離去。
當張作霖的專列從皇姑屯駛向南滿與京奉鐵路交叉點處時，河本大作的手下搖了一下發電機的搖柄，隨即爆炸就發生了。
案發之後，河本大作為了掩蓋事實，製造了一係列的假象。但假象畢竟是假象，它不是事實。
1930年，河本大作正在住院，他的一位朋友向他問起皇姑屯事件，河本大作說：“這事就算是我幹的吧，不然牽連太大。”
日本戰敗後，河本大作仍心懷鬼胎，繼續留在山西參與中國政治。直到1949年4月29日，被太原公安局逮捕。1955年病死在獄中。