此際，國民政府已於5月10日致電國際聯盟，要求調查事件真相，濟南慘案大受國際注目。尤其是美國，且於15日在下院提出“由國務卿出麵調停”的議案。
日本政府鑒於對國際輿論不能再事漠視，也於14日決定方針――不擴大戰爭，並循外交交涉收拾事態。遂即派遣參謀本部作戰部長鬆井石根中將來到濟南，與張群及王正廷之間進行交涉。但日本方麵要求蔣介石陳謝，中國方麵要求賠償損失，意見對立，極難獲得進展。
“6月5日”
昨夜間張作霖在奉天皇姑屯為日本關東軍埋設地雷炸傷斃命。今報載：奉天疑日人主使；日人則委謂係我方便衣隊所為雲。日人之陰狠如此，吾東北國防如何始能鞏固也？
當張作霖由北京返回奉天的列車途次山海關時，黑龍江省督辦吳俊升登專車迎迓，隨同返回奉天。
列車行駛一個晝夜之後，於6月4日(1928年)曙光已現的清晨，進入奉天市界。剛過城外西方京奉鐵路皇姑屯站，張作霖在此即將抵達省垣之際，踱進展望車，舒徐地吞吐著晨起怡神的卷煙。
5時23分，列車正要鑽過京奉鐵路和南滿鐵路的立體交叉點。突然響起猛烈震撼奉天全市的爆炸聲。張作霖所乘展望車隻有車軒與車床還剩下原形，車廂四散紛飛，接在後麵的餐車與臥車也都被炸成為廢鐵。
張作霖當即被護送到奉天城內。奉天省長臧式毅為防混亂擴大，僅對外發表被炸負傷，但實則是在上午10時死亡，終年55歲。吳俊升也立即死亡。日本顧問儀我誠也被暴風將衣服吹裂，但卻隻有足踝受了微傷。
在爆炸現場的附近，有被刺殺的兩個中國人屍體，手裏握著蘇製的炸彈。事件發生之後，日本關東軍立即發表：“兩個中國人的行動可疑，經予刺殺；相信是南軍(指革命軍)便衣隊所為。”
可是，爆炸物是120公斤左右的黃色炸藥，被埋設在南滿鐵路的橋腳下。很多人根據直覺判斷，認為像這樣規模的爆炸裝置，即使是有高度工兵技術的爆破者，其裝置工作也得6小時左右；加以就其能計算得正好炸中張作霖所乘車廂的高度準確性看來，一般中國人固然辦不到，就連日本人也恐怕隻有關東軍才會是具有如此能耐的真正凶手。
蔣介石是於當天在國民革命軍的石家莊司令部得到消息的。
然而，雖則是關東軍，也畢竟不能把陰謀隱瞞到底。在爆炸現場附近被刺的兩個中國人身份，立即被調查出來。他們是被奉天失業軍人劉戴明收羅來的有嗎啡癮的遊民；而劉戴明則是受到為關東軍參謀河本大佐所授意的某日本浪人之所指使。劉戴明在6月3日的早晨，帶了3個遊民到開設在滿鐵附屬地區之內的“福開泉”浴堂，剃頭、洗澡。換上衣服，其中有一個姓王的感到害怕，乃在入浴時溜走，剩下的兩個就是被刺殺而暴屍原野的人。
姓王的在爆炸事件發生後，便跑到張學良的部下那裏，說出了以上情況。另一方麵，“福開泉”浴堂老板也出於好奇而去看看兩個中國人的屍首，發現就是前一天來浴堂洗澡的客人。為之一驚，便急忙到奉天的日軍憲兵隊去報告。
兩個死者手握的俄製炸彈，則被日本的在野黨――民政黨查出是日本奉天憲兵隊長在奉天一家售貨店所購買的。至此，已經可以明白推斷得出：在事件背後，有關東軍的存在。
雖然，在當時事件的全部真相是被不明不白地埋葬掉了，可是以上一些推斷的正確性，則到了第二次世界大戰後，根據遠東國際軍事法庭的調查、審判、乃至日本方麵所公布的新發現的一些資料，得到了明確的證實。
“7月3日”
禮謁總理之靈，含淚言曰：中正不忍驟見吾師遺體，故暫不敢啟棺，容俟正式祭告時瞻依，唯願我師之靈之安也！中正此刻，萬感交集，不知所懷，唯有忍淚默禱而已。
禮謁畢，即留居寺之含青舍，不忍遠離我師之靈體也。
蔣介石於6月26(1928年)由南京出發，途中，先後受到李宗仁、馮玉祥、閻錫山等人迎接。7月3日上午7時半，在盛大歡迎中進入北平。到陸軍部更衣之後，便立即專詣北平郊外香山碧雲寺恭謁孫中山陵寢。
孫中山於1925年病逝北平之後，遺靈暫厝於碧雲寺。蔣介石此刻的心情，最重要的是以孫中山期望完成的統一全國宏願之實現，告慰於他的靈前。在當天的日記中，留有如上記述。
“7月6日”
讀畢祭文，為之俯伏慟哭者久之。全堂亦無不淚下。回含青舍，謂夫人曰：方祭告總理時，聞哀樂之聲一作，雖欲強抑悲懷，仍淚滿襟臆，體力幾不支矣！及瞻仰遺容，哀痛更不能自勝，嗚呼！3年有半之歲月，中正所受之冤屈誹謗，直不知何自而可聲訴也。
言次，不禁又淚下如雨。
祭典於7月6日舉行。是日，蔣介石為主祭，未明起床，澄心靜慮，迎接曙光。
上午8時20分，蔣介石偕同副祭者馮玉祥、閻錫山、李宗仁等列集靈堂，祭典開始，奏哀樂、主祭者獻花，行三鞠躬禮；繼之，由商震代讀祭文：
“維中華民國17年7月6日，國民革命軍既奠北平，弟子蔣中正謹詣香山碧雲寺，致祭我總理孫先生之靈曰：溯自我總理之去逝，於今已3年餘矣！中正昔侍總理，親承提命之殷殷，寄以非常之任，教誨拳拳，所以期望於中正者，原在造成革命之武力，鏟除革命之障礙，以早脫人民於水火。
“乃荏苒歲時，迄於今日，始得克服舊都，展謁遺體，俯首靈堂，不自知百感之紛集也。
“3年之間，本黨基礎瀕於危亡者，先後五次。革命勢力幾於覆敗者，凡十五次。而軍事危機，尚不與焉。每當艱危困厄之來，中正唯一秉遺教，追隨先進，勉圖靖獻。盤根錯節，更曆已多。洎乎本年(2月)中央第四次全會，方克安渡艱難，重視團結。……中正……今後有生之日……當竭其全力……靈爽匪遙，唯昭鑒愚誠而默相之！”
祭靈之後，蔣介石仍留在北平(6月20日，國民黨中央政治會議決議：直隸省改稱“河北省”，北京更名“北平”)。
“10月10日”
日本狹隘嫉忌如此，餘當益自強自奮可也。
10月8日，中常委會議任命了國府的主要組成人員：
國府委員為蔣介石、譚延？、胡漢民、蔡元培、戴季陶、王寵惠、馮玉祥、孫科、陳果夫、何應欽、李宗仁、楊樹慶、閻錫山、李濟深、林森、張學良。
譚延？、馮玉祥、胡漢民、林森、王寵惠、張繼、戴季陶、孫科、蔡元培、陳果夫10人，分別擔任行政、立法、司法、考試和監察五院的正副院長。
馮玉祥、閻錫山和李宗仁分別擔任軍政部、內政部部長和軍事參議院院長，目的是留住他們長期待在南京。
國民政府主席一職，則由蔣介石擔任；他選擇10月10日“雙十節”宣誓就職。同日，以國家元首身份向全國發表《國慶日告同胞文》：
敬於此十七年雙十節，列舉四端與同胞共勉之：一、發育國民強毅之體力，以挽救委靡文弱之頹風；二、保護中國固有之德性，以鏟除苟且自私之惡習；三、增進科學必需之常識，以開辟愚蠢錮蔽之迷信；四、灌進世界最近之文化，以力求國家社會之進步。
這是蔣第一次擔任國家元首。此時的國民政府不同以往，它已是全國性的政權，蔣的政治地位已到了登峰又造極的地步。
國府成立，繼美、英等國之後，在一兩年之內，各國相繼予以了承認，唯日本隻派駐南京總領事岡本一策向外交部作了一番口頭道賀。蔣對此十分惱火。