第二次北伐的第一集團軍賀耀組第三軍團於5月1日進駐濟南。在日本首相田中義一導演下，5月3日發生濟南慘案，用割鼻、削耳、挖眼等殘無人道的獸行，殘殺我國外交人員蔡公時等16人，駭人聽聞。
事件的肇端是這樣的：當天早晨，有國民革命軍第四十軍(軍長賀耀組)所屬士兵1人生病，經戰友送往中華民國外交部山東交涉署對麵的基督教醫院(在城外商埠區)治療，日本兵阻止通行，由於語言不通而發生爭執。雖然就隻是這麼一點小事，可是對於正在等待著挑釁機會的日軍來說，就是很好的藉口。他們不問情由、不待理論便突然開槍，當場有革命軍士兵及役佚各1人中彈斃命，其餘的人僥幸逃入醫院；日軍則將醫院包圍，用機關槍亂射，一經點燃戰火，便在全市展開槍擊。
根據日本方麵資料記載，陸軍省於5月13日發表的《濟南事件概要》，則是這樣的說法：“3月上午9時半左右，日本人吉房長平在麟洋門外的滿洲日報代銷所中，有中國兵二三十人闖入，日本領事館巡查岡田繁一立即前往該處，反而被中國兵毆打，是故乃由條川好春中尉率領自天津調來濟南的一部分日軍趕到現場，中國兵則進入附近兵營，兵營崗哨首先向日軍開槍，日軍不得已而還擊。以此為開端，中國兵乃在各處同時開始攻擊。”
慘案發生當時，蔣介石便同日軍司令官福田彥助聯係交涉，以免事態擴大。要求日軍趕緊派人到我軍總司令部來，日方不幹，最後決定由雙方派代表在中間地點――津浦鐵路辦事處進行交涉。
國民革命軍方麵的代表是熊式輝，日方代表則為參謀長黑田周一。
熊式輝是日本陸軍大學的學生出身，他同福田司令部的參謀長(黑田)，和許多參謀都是同學，他又懂日本話。
可是交涉時，日方橫蠻侮辱中方代表，其情形難以用言語形容！
日軍所提出的停戰條件是：(一)凡濟南商埠(在城外)街道，不許中國官兵通過。(二)膠濟路(青島―濟南)、津浦路(天津―濟南―浦口)不許中國運兵。(三)中國軍隊一律退離濟南20裏之外。
熊式輝表示：“這是重大問題，須向總司令請示，我不能簽字。”避開立即答複；黑田周一等人則強橫地說：“你不是代表蔣介石來的嗎？應該可以馬上簽字的。”
就在這交涉的時間內，日軍的挑釁行為越發加強，甚至用大炮射擊過來，每兩分鍾發射一炮，把革命軍的無線電台、交通機關統統破壞。
“這種炮轟，就是他想威嚇我們會議代表和一般官兵，壓迫我們軍隊向南撤退，以達到他們阻礙我們革命軍不能越過黃河北進的目的，使革命軍不能攻占北京，完成北伐，而使北洋軍閥仍能割據河北，在日軍保護下坐大。――這樣就可使華北永遠置於日軍操縱之下。”〔蔣介石《誓雪五？三國恥》(1929年5月)〕
熊式輝拒絕簽字堅持到底。等到他把日軍方麵的三個要求帶回司令部時，已經是淩晨5時。
熊式輝的報告是這樣的：“照現在的情形看，日本一定要與我們開戰。我們隻有兩條路，一條是決心和他決裂，對抗應戰；一條是忍辱一時，避免衝突，避免犧牲，將來再作計較。”熊的後一條路顯然與蔣相一致。
“5月9日”
如有一毫人心，其能忘此恥辱乎！何以雪之，在自強而已。
有雪恥之誌，而不能暫時容忍，是匹夫之勇也，必不能達成雪恥之任務；餘今日暫忍為人所不能忍者耳！
在濟南城撤退的時候，仍有李延年團一團步兵及蘇宗轍旅之一部分(計3000人)留在城內。
本來，對於中國領土的濟南，當然不能輕易予以放棄；而且如果在濟南城內沒有中國軍隊，那麼日軍就一定會以“濟南沒有軍隊維持秩序，所以不得不派兵擔負維持秩序的任務”為藉口，而曲解其派兵是正當的。
不過，在被日本大軍包圍的城內，留下少數兵力，當然是非常危險的事。可是為了保護本國國民與土地，是必須要付出不得已的犧牲的。像這樣，日軍如果正式發動攻擊來奪取濟南，那麼，他野蠻橫暴的侵略行為就會暴露於全世界。
“我告訴李團長，你至少要固守兩天以上，並且一定要等到日軍真正向我城內來強行進攻之後，你才可自動的與蘇部向泰安方麵撤退。我留一架無線電報機給你，隨時與我直接通電，聽候命令。”〔蔣介石《誓雪五三國恥》(1929年5月)〕
果然，到了6日夜間，日軍就對濟南城發動了總攻擊。
“我在離城30裏(約17公裏)的黨家莊，日軍槍炮的聲音，都聽得很清楚。想到我們的人民和軍隊有很多犧牲，十分痛心。”（同上）
當日軍開始攻城之際，蔣介石便電令李延年自濟南城內撤退，可是他們在敵軍重重包圍之下，退不出來。
李延年的部隊打得很好，一次又一次地將逼近城垣的日軍擊退，不允許攻入城內。而且，隻不過是4個營兵力，便阻遏住了日軍一個師的攻勢。
戰鬥持續到5月9日，日軍終於放棄進攻，派人到李延年處要求停戰。革命軍也為避免再事流血，乃讓出濟南城。不料到了這個時候，日軍卻又表現出極其卑劣的背信行為。
“日軍言明讓東關給我軍，保證向黨家莊方麵安全撤退，李團長才於9日晚與蘇部由東門出城。可是不到城外3裏路的處所，就被日軍的機關槍伏兵在兩側亂射，我軍到最後隻剩得500餘人回來，其餘的人統統死在這次撤退的路上。”〔蔣介石《誓雪五三國恥》〕
日本兵更極盡其暴虐之能事，住在濟南醫院的革命軍二十六軍傷兵200餘人被全體用機關槍射殺，連賣糖的孩童及短發的少女都被刺死。
李延年等留駐濟南的部隊，到了11日早晨全部撤離城內，雙方正麵決戰的情勢大致告一結束。
“5月10日”
吾躬逢其慘，不能不為我部屬痛耳！
餘自定日課――以後每日6時起床，必作國恥紀念一次，勿間斷，以至國恥洗雪淨後為止。
事後，據調查濟南慘案代表團於6月7日在南京所發表的調查報告，在慘案中死亡之中國人達3254人(其中男性2100人、女性66人、不明者1088人)，負傷者1450人。
另據日本外務省後來在同年12月向日本國會第五十六次議會提出報告：日本僑民在濟南事件中被殺害者15人(包括失蹤1人在內)，負傷者15人。
“5月12日”
據報何成浚晤見福田，福田態度仍甚強硬，不可理喻，有必欲解散我第二、第三、第四各軍團及對我三總指揮必欲處以嚴刑之要求雲。是可忍，孰不可忍？攻破我之濟南，在彼以為得意，不知中日兩國之怨仇因此深結於人民心中而不可拔，東亞和平之基礎亦從此動搖。是日本軍閥之禍國殃民，乃更甚於中國之軍閥矣！毒蛇猛獸豢養不除，必至反噬其主人，惜乎日本民眾猶未能醒悟耳！大為中日兩國民眾之前途長太息也！
在李延年等部隊業已自濟南城撤退完畢，戰火大致停熄的5月11日上午11時，蔣介石改派總參議何成浚為代表，再度進行交涉。此時向日方提出的答複是：四十軍軍長賀耀組業予免職，濟南周圍及膠濟鐵路20華裏(約11公裏)以內暫不駐兵，反日宣傳並已禁止等項。
同時，對於日本方麵處分其責任者的要求也未提出，表示最大的忍讓。然而，福田彥助卻以何成浚沒有帶委任狀為藉口，不承認其為代表，拒與交涉。
情況如此，已不可能寄望於由兩軍在當地解決問題，因此，蔣介石乃向國民政府主席譚延？報告，請循外交途徑交涉，並決心繼續北伐。