張作霖本是堅決反對徐樹錚的，隻因他處於調停人地位，不便公開表態。此時，見各方態度均已十分明朗，他也決定公開反徐。7月3日，張作霖和曹錕、李純聯名發出討徐通電，宣布了徐樹錚“禍國殃民”“賣國媚外”“把持政權”“破壞統一”“以下弑上”“以奴欺主”等六大罪狀，並聲稱要“為國除奸，義無反顧”，等等。
徐世昌早就對徐樹錚不滿，隻因懾於皖係實力，不敢動徐。現在既有張作霖、曹錕、吳佩孚等人撐腰，頓時壯了膽氣。7月4日，徐世昌在總統府召集特別會議，決定免除徐樹錚之職。當天，即公布了三道命令：一是特任徐樹錚為遠威將軍；二是免去徐樹錚的西北籌邊使，作為遠威將軍留京供職，由李垣暫時代理西北籌邊使；三是裁撤西北邊防總命令一職，所轄軍隊由陸軍部接收辦理。就這樣，徐世昌以授予徐樹錚“遠威將軍”之虛銜為由，免掉了他“西北籌邊使”“西北邊防軍總命令”兩項重要實職。
皖係和安福係，特別是徐樹錚本人，豈肯善罷甘休，輕易交出兵權。何況，憑徐世昌的一紙命令，也不可能就此剝奪徐樹錚和皖係的兵權。徐樹錚認為，徐世昌此舉，並非針對他一人，而是助直排皖。因此，免職令公布的當日，徐樹錚便到團河向段祺瑞哭訴：“樹錚之濫借巨款，編練重軍，甘為天下之不韙，無非是為督辦計耳。今總統惑於僉壬，免去樹錚之職，是欲排去皖係也。排皖係，即所以排督辦。樹錚一身不足惜，其如督辦一身之威名掃地何？”這裏所說的督辦，即擔任邊防督辦的段祺瑞。段祺瑞經此一激，自然壓不住心頭怒火，氣衝衝地說：“吾與東海（徐世昌字東海）有數十年之交好，故於改選之時，願與河間（馮國璋字河間）同時下野，而以元首之位讓之。何意彼年老昏聵，竟出此非法之舉動。彼既不念前情，老夫亦顧不得麵子，今日誓不與之甘休！”段祺瑞終於下決心要同徐世昌攤牌，同直係拚個魚死網破了。第二天，7月5日，段祺瑞以“邊防督辦”的名義，下令對邊防軍和皖係控製的其他軍隊進行緊急動員，準備對直戰爭。
在煽動段祺瑞動武的同時，徐樹錚還秘密策劃了一個殺害張作霖的陰謀。他見張作霖名為“調停人”，實則助直反皖，尤其是與他本人敵對，對張作霖恨之入骨。7月5日，徐樹錚裝出若無其事的樣子拜訪了張作霖，並以段祺瑞的名義，請張作霖再到團河，與段祺瑞會商善後辦法。他想重演1918年在天津謀殺陸建章的故伎，將張作霖騙至團河後殺害。
張作霖不知是計，遂於7月7日應約再到團河，與段祺瑞見麵。會見進行中，徐樹錚以接電話為名將段祺瑞叫出，告知其刺殺張作霖的計劃。段祺瑞畢竟比徐樹錚老謀深算，也不似徐樹錚那樣不擇手段，而要考慮後果，故猶豫不決。當段祺瑞帶著不安的心情返回座席時，機警過人的張作霖，立即看出了段祺瑞的神色異常，知道大事不好，必須立即離開此危險之地。於是，張作霖借口出恭，進了廁所，然後由廁所偷偷溜出，驅車急赴車站。此時已是7月8日午夜1時左右。張作霖逃走後，徐樹錚企圖令駐廊坊駐軍截擊。但張作霖已得靳雲鵬密報，連夜微服乘貨車離京赴津，徐樹錚的計劃落空。徐樹錚曾為此頓足歎惜：“大事去矣！”而張作霖經曆了此次驚險，返回奉天後，一下火車就慨歎道：“我又回來了！”
至此，張作霖的調停完全失敗，他做了十幾天的調停人，費了很大的勁，結果卻徒勞無功，還差一點將老命也搭上。盡管張作霖在調停中不無偏袒直係之心，但“調停”的失敗並非他的責任。直、皖兩派早已勢成水火，決非調停所能解決。
在直皖相拚中漁利
張作霖“調停”失敗，被迫離京的當天清晨，段祺瑞便由團河入京。上午，他就在將軍府召集了由近畿各軍重要長官及國務員、參謀總長、衛戍司令、步軍統領、警察總監等百人參加的軍事會議。會上，段祺瑞發表措詞強硬的講話，一方麵斥責曹錕、吳佩孚，要求北京政府將其撤職查辦，另一方麵公開宣布要進行所謂的“興師討逆”。段祺瑞說：“國家以綱紀為重，綱紀不振，則國不存。吳佩孚受賄通敵，無故撤防，以至湖南失敗，塗炭生靈。撤防後又在保定興風作浪，逆跡昭彰。曹錕竟敢以兵力要挾元首，脅迫中央，為種種破壞法律之主張，且要求下令免徐之職。徐使此次收回外蒙，厥功甚偉，並未用中央之款項而收回數萬裏之疆宇，曹、吳等則要求元首罷免徐使，法紀蕩然，是非不明。鄙人為維護國家綱紀及維持元首威信起見，不得不興師討逆。現擬呈請大總統將曹錕、吳佩孚、曹钅英褫奪官勳，交祺瑞拿辦。現已入軍事範圍，如有不聽命令者，當按軍法從事。”段祺瑞講完之後，安福係的政客曾毓雋立即起來響應說：“現時我等惟當知有督辦，不當複問政府，督辦此言，當一致讚成。”其他與會者亦紛紛表示讚同。會議當即作出決定，並擬出要求徐世昌懲辦曹錕、吳佩孚的呈文，由段祺瑞簽名，各軍官副署後，交代理內閣總理薩鎮冰轉呈徐世昌。會上，段祺瑞還宣布，任命段芝貴為京師戒嚴總司令，吳炳湘為副司令，他自任所謂“定國軍”總指揮，徐樹錚為總參謀長。會後，段祺瑞又發表了聲討直係的通電。
實際上，在召開這次會議之前，徐樹錚已在調兵遣將，安排進攻直軍的軍事部署。他密令駐洛陽的西北軍兩個旅牽製吳佩孚的軍隊；密電皖係幹將吳光新從湖北調部隊到河南信陽，與北方皖軍遙相呼應；命令曲同豐所部邊防軍第一師向長辛店開拔。他還通過陸宗輿、曾毓雋等人分別從中日彙業銀行、交通部取出現款300萬元，充作軍費。在7月8日的軍事會議之後，段祺瑞又回到團河，進一步討論了出兵計劃，決定派出五個師，以曲同豐的邊防軍第一師為第一線，以劉詢所部陸軍第十五師、陳文運的邊防軍第三師、李進才的陸軍第十三師、魏宗瀚的陸軍第九師分別為第二、三、四、五線。7月9日，邊防軍第三師開赴廊坊，第九、十三、十五師則向盧溝橋、長辛店、良鄉、竇店、房山、琉璃河一帶進發。
在進行軍事部署的同時，皖係開始對徐世昌施加壓力，迫其按照段祺瑞等人的旨意懲辦曹錕、吳佩孚。段祺瑞等人的呈文送達總統府之後，徐世昌隨即召集全體內閣成員開會討論。起初，徐世昌不同意懲辦曹、吳，後經安福係政客曾毓雋等一再施壓，徐世昌勉強答應免吳佩孚一人職。曾毓雋等人仍不放鬆，一定要徐世昌也在罷免曹錕的命令上蓋印，並說：“總統隻管蓋印好了，一切皆有段合肥負責。”徐世昌曾派人至團河謁見段祺瑞，征詢緩和辦法，但段祺瑞態度強硬，根本不把大總統放在眼裏。他明確表示：“非將曹錕免職，吳佩孚懲辦，曹錕交法庭，不能緩和。”段祺瑞還威脅說：“總統免曹吳職與否，彼亦自有權衡，我不便幹預，亦不必幹預。縱彼不下令，我豈不能免曹吳而拿辦之耶？”在段祺瑞的強大壓力下，徐世昌無可奈何，隻好將內閣呈送懲辦曹、吳之命令謄印發表，但聲明自己不承擔意外之責任。該命令說：“前以駐湘直軍疲師久戍，屢次籲請換防，當經電飭撤回直省，以示體恤。乃該軍行抵豫境，逗留多日，並自行散駐各處，實屬異常荒謬。吳佩孚統轄軍隊，具有責成，似此措置乖方，殊難辭咎，著即開去第三師師長署職，並褫奪陸軍中將原官暨所得勳位、勳章，交陸軍部依法懲辦；其第三師原係中央直轄軍隊，應由部接收，切實整頓。曹錕督率無方，應褫職留任，以觀後效。”