最早敗退的是張宗昌部。蔣介石的第一集團軍發起進攻不久，便突破了張宗昌在魯南精心構築的四十裏防線，占領了韓莊、夏鎮、魚台、台兒莊、郯城等地。其間，盡管孫傳芳殘部為增援張宗昌，曾發起反擊，但又被馮玉祥部抄了後路，未能挽回敗局，張宗昌、孫傳芳部不得不撤退到泰安一線防守。4月30日，泰安城又被蔣、馮兩軍攻破。張宗昌和孫傳芳見自己的山東防線已完全垮掉，遂放棄濟南，撤過黃河退到德州一線。
就在張宗昌、孫傳芳敗退，蔣介石占領濟南之時，日軍為阻止蔣軍繼續北上，悍然於5月3日製造了震驚中外的“濟南慘案”。但是，這雖然給蔣介石製造了不少麻煩，卻未能迫使蔣軍停止進攻。濟南事件發生後不久，蔣介石命令所部繞開濟南，繼續北上。至5月中旬，蔣介石又攻占了德州、滄州，將張宗昌、孫傳芳部逼退到天津附近。
東線的慘敗，也使張作霖的西線部隊受到很大影響。張學良的第三、四方麵軍雖然一度頂住馮玉祥、閻錫山的聯合進攻，但終因東線潰退，京津一帶受到威脅，也不得不退守保定一線。
到5月中旬，形勢已明朗化，張作霖擋住北伐軍進攻的企圖已基本落空，敗退出關隻是時間問題了。而這時，日本方麵也在加緊考慮究竟應對東三省、對張作霖采取何種態度的問題。
日本軍部和關東軍見張作霖的失敗已成定局，極力主張日本應乘此機會直接以武力控製東三省，排除張作霖。1928年4月20日，關東軍參謀長齋藤向參謀本部提議說：奉軍如處於不利地位，張作霖勢必將20萬奉軍撤回東三省，這樣一來，“滿洲”的治安將受到騷擾，威脅到一百餘萬帝國臣民的生命財產。因此，日本政府有必要發出聲明：如戰亂波及“滿洲”，日本將采取“自衛手段”。關東軍應從南滿鐵路附屬地出兵，不失時機地開往錦州或山海關，解除進入東三省的奉軍和南軍任何一方的武裝。5月3日濟南事件發生後，關東軍再次重複上述要求，請軍部迅速裁奪。日本軍部也讚成關東軍的主張。陸相白川義則、參謀本部作戰部部長荒木貞夫等，也都積極敦促田中內閣采取強硬措施，實現東方會議所定將東三省接管的方針。
日本在中國的一些官員，如奉天特務機關長秦真次、張作霖的軍事顧問鬆井七夫等人，雖然不像關東軍那麼激進，卻也主張讓張作霖就此下台，由其子張學良或總參議楊宇霆接替。
隻有新上任的奉天總領事林久治郎對關東軍的主張表示異議，建議外務省應盡快讓張作霖及奉軍返回“滿洲”，把東三省的“治安”維持起來。
日本外務省的看法則介於上述兩者之間，認為：如在南方軍隊到達北京之前奉軍主動撤退，日本沒有理由阻止張作霖率部回到關外，如果兩軍在京津地區交戰，或在灤州、山海關對峙，無論誰勝誰負，日本均應阻止他們進入東北。
田中比較傾向外務省的意見，內閣決定按既定方針采取兩項措施：一是逼張作霖實施山本與張作霖簽訂的協約；二是向南北雙方發出幹涉中國內政的《五一八覺書》，以維護日本在“滿洲”的所謂特殊地位。對張作霖本人的態度，則視事態變化再作決定。
張作霖雖表示同意山本提出的建造“新五路”的要求，但卻遲遲不肯與日方簽訂“承建合同”。田中十分著急，企圖推翻“協約”，指示山本乘張作霖處境危險，迫使他簽訂全部“承建合同”，以避免讓煮熟的鴨子再飛掉。為此，山本立即再次派江藤豐二到北京，與張作霖接洽。5月7日，江藤抵京後，處境危急的張作霖為了取得日本的支持，終於同意簽署合同。他讓擔任代理交通總長的常蔭槐代表北京政府在合同上簽字。不料，常蔭槐雖是奉係骨幹，此時卻因害怕承擔“賣國”的名聲，躲往天津，拒絕簽它。在江藤的連日催逼下，張作霖沒有辦法，隻好一方麵親自以“中華民國政府陸海軍大元帥”的名義，在日方早已準備好的延海、洮索兩條鐵路的承建合同上簽上了“閱，準行”，另一方麵又讓交通部司長趙鎮以交通部代理次長的名義在敦圖、長賚兩條鐵路的承建合同上簽字。另一條吉五鐵路，則因吉林省各界強烈反對，隻好暫時擱置起來，待以後再簽。就這樣，在交涉了近一年之後，日本終於以軟硬兼施的手法，從張作霖手裏攫取了“滿蒙”四條新鐵路的修築權。
張作霖從消極抵製到最後同意簽署四條鐵路的承建合同，顯然是迫於形勢危急，希望借此得到日本的支持，達到苟延殘喘的目的。不料，日本不僅毫無“援張”的表示，反而進一步向張作霖施加壓力，逼迫他立即撤往關外。
日本一直反對張作霖涉足關內，曾多次向他提出“勸告”或“警告”，張作霖始終未予理睬。1927年夏，田中首相甚至派山梨造陸軍大將專程到北京，勸張作霖退回關外，遭到他的斷然拒絕。當時，張作霖對山梨造說：“我打的就是日本的仗，怎麼日本反而幫蔣介石的忙來勸我回滿洲，這究竟是何居心？”結果，把山梨造弄得很尷尬。
但是，日本並未因張作霖的拒絕而作罷。一年之後，田中再次訓令芳澤：“你和日本一切在華能起作用的代表同張及其助手接觸，‘要命令他立即返回滿洲’。警告張作霖，如果他不肯聽命，一旦敗退關外，日軍將解除奉軍的武裝。”與此同時，田中內閣還正式決定，向中國南北雙方發出《五一八覺書》。這個最後通牒式的《覺書》聲稱：“目前戰亂情形將波及京津地方，而滿州方麵亦將蒙受其影響之虞”，“當戰亂波及滿洲時，帝國政府為維持治安，將采取適當而有效的措施。”這裏所說的“適當而有效的措施”，在田中給芳澤訓令中所作的解釋是：奉軍從京津地區撤退時，如南軍繼續向關外攻擊，日本將進行阻擊；倘兩軍在京津地區交戰而奉軍兵敗逃往關外，或者南軍進攻向“滿洲”退卻中的奉軍時，為防止戰亂波及“滿洲”，日本將解除兩軍的武裝。顯然，田中的訓令和日本的《覺書》已清楚地表明，日本將公然對中國內政進行粗暴的幹涉，以實施東方會議將東三省分離出中國的決議。
5月17日深夜11時左右，芳澤到順承王府會晤張作霖，首先向他通報了《五一八覺書》的內容。由於《覺書》的措詞比較含糊，張作霖雖表示反對，卻還能夠忍受。然而，當芳澤要求張作霖立即撤回關外，並恫嚇說：“如果你的軍隊打了敗仗逃回滿洲，日軍將解除他們的武裝。”張作霖再也忍受不住而大發雷霆。他對芳澤高聲嚷道：“要我撤出北京，我多少年來不是白幹了嗎？我絕對不幹，我還有60萬大軍，至少還能跟南軍再幹一仗。”但芳澤卻不為所動，繼續對張作霖威脅說：“張宗昌的兵在濟南殺死幾十名日本僑民，你對此應負一切責任。”張作霖一聽這話，更加來火了。他氣得把旱煙袋猛地往地下一摔，將翡翠嘴摔成了兩段，然後衝著芳澤大罵：“此事一無報告，二無調查，叫我負責，他媽拉個巴子，真是豈有此理。我這個臭皮囊不要了，也不能做這種叫我的子子孫孫抬不起頭來的事情。”罵完了，張作霖就扔下芳澤，怒氣衝衝地離開了客廳。