直、皖雙方如此尖銳對立，給張作霖的調停帶來了極大困難。但他似乎並不氣餒。從保定回京後，張作霖仍繼續同各方協商，企圖找出一條生路。他認為，靳雲鵬內閣能否複職的關鍵，在於能否真正實現內閣的局部改組和安福係三閣員出閣。張作霖將此意見托參謀總長張懷芝轉告段祺瑞，並再次親赴團河，企圖說服段祺瑞讚成這一辦法。但段祺瑞除表示同意靳雲鵬繼續擔任閣揆外，拒絕了讓安福係三總長下野等倡議。他堅持，即使內閣改組，安福係至少必須保留財政、交通兩席。財政、交通兩總長職位是安福係最大的財政來源，安福係當然死抱住不放。
張作霖的主張不但得不到段祺瑞的讚同，也不為靳雲鵬所接受。靳雲鵬深知處在直、皖兩係的夾攻中滋味難受，幹脆推薦他人組閣。他的意見是讓周樹模出來組織新內閣，他本人願在新內閣中繼續擔任陸軍總長。
北京這邊，張作霖的調停毫無進展，而保定那邊，卻連連催逼。6月25日與27日，保定方麵連續致電張作霖與徐世昌，要求對內閣及時局問題從速解決，至少必須先辦妥一兩件事，以安軍心。保定方麵還堅持，除靳閣複職，撤免安福係三總長外，還必須裁撤徐樹錚的籌邊使，將邊防軍交歸陸軍部管轄。與此同時，曹錕、吳佩孚等還公開發表了《直軍致邊防軍西北軍書》，集中火力攻擊徐樹錚：“安福係跳梁跋扈，殆甚於閹宦紹王當，而指揮安福係禍國者，惟徐樹錚一人，我昂藏七尺男兒，詎甘心供其驅使耶？”“此次直軍撤防，原為掃除殃民禍國之安福係及倡亂賣國之徐樹錚，對於先進泰鬥，同氣友軍，毫無挾帶惡感及並峙對亂行為。”此處所說的“先進泰鬥”指的是段祺瑞。直係所采取的是古代常用的“清君側”的辦法，不公開反對段祺瑞，而反對段祺瑞周圍的小人，即徐樹錚與安福係。張作霖用的也是這種策略，目的是對皖係控製的軍隊進行分化。
由於保定方麵的催逼，張作霖又前往團河，正式向段祺瑞提出免去徐樹錚職務問題。可段祺瑞卻含糊其辭，表麵上答應可以考慮，實際上卻為徐樹錚和安福係辯護，抵製直係的要求。他對張作霖說：“安福之壞，我已知之，我非安福，君亦知之。偌大政黨，難保無不良分子，無可諱言。徐樹錚得罪人，我亦知之，我對於國家，始終以直道，絕無權利之私，現在惟望徐總統收拾時局。”其實，徐樹錚也好，安福係也好，都是秉承段祺瑞的旨意行事的，要段祺瑞自斬羽翼，無異與虎謀皮。
後來，張作霖考慮到靳雲鵬堅決不肯複職，並力薦周樹模組閣，又於6月28日去團河見段祺瑞，好不容易與他達成了一個妥協方案，大致內容是：解散舊閣，靳雲鵬不再複任總理，安福係三總長也同時下野，雙方各得其半；由周樹模組織新內閣，除財政、交通、司法三總長易人外，其餘如內務、海軍兩部不動，外交、農商、教育三部補提，靳雲鵬仍任陸軍總長。對徐樹錚的免職，邊防軍，西北軍的歸屬問題，段祺瑞同意作表麵形式上的讓步，即邊防軍、西北軍歸段祺瑞節製，徐樹錚的籌邊使仍保留。在這一妥協方案得到徐世昌認可後，張作霖將其內容電告保定方麵。曹錕、吳佩孚等人的答複是：由誰組閣的問題“悉憑元首主張”，但籌邊使官製必須取消，徐樹錚的兵權必須解除，安福三總長必須罷免。保定的電文還說，民國6年，段祺瑞曾聯合各軍，向黎元洪兵諫，如今，保定方麵不過是效法當年段祺瑞之所為，向段祺瑞兵諫而已，且均是為國，毫無私意。與此同時，安福係政客於6月29日在太平湖集會，也對上述妥協方案提出異議，聲稱如周樹模組閣，安福係無論如何必須保留財政、交通兩部，否則就堅決反對。
6月30日，張作霖再赴團河，將保定方麵的意見轉告段祺瑞。但段祺瑞的態度很強硬，堅決不接受，正色厲言道：“調停政局，乃極好之事，惟吳佩孚以一師長幹預政事，要挾條件，此風一開，則中央威信掃地。”見段祺瑞毫無通融餘地，張作霖知調停已走到絕路，遂向段祺瑞表示，不願再當調停人，準備即日離京返奉。當天晚上，張作霖去徐世昌處辭行，徐世昌因已就寢，未能見他，但傳諭請張作霖務必不要離京。第二天，徐世昌又堅決挽留，段祺瑞等也擔心張作霖一走，局勢發展於己不利，故亦托人勸挽，並表示：“諸事尚有磋商餘地。”張作霖這才答應留下繼續調停，但聲明他不可久居北京，調停隻能以五日為期，屆時仍不能解決，他將卸責不管。
7月1日，安福係再度開會，決定改變策略，以攻為守。他們向徐世昌提出，一是請段祺瑞組閣，二是要求懲辦吳佩孚。安福係妄圖以此抵製直係的進攻。安福係聲稱，如這兩條能辦到，則徐樹錚可以解職，安福係也可解散，三總長亦願意辭職。顯然，安福係玩的是“丟卒保帥”之計。他們私下認為，隻要由段祺瑞組閣，皖係和安福係的利益就能得到維護。
然而，徐世昌卻不願看到安福係的計謀得逞，搶先一步，於7月2日發表批準靳雲鵬辭職命令，同時將總統關於提名周樹模組閣的谘文，送至眾議院。徐世昌這一著是同張作霖商量後采取的，目的是破壞安福係擁段組閣的圖謀，同時也為罷免徐樹錚做準備。徐世昌和張作霖均以為，先免靳雲鵬，再撤徐樹錚，可以堵皖係的嘴巴。
但徐世昌和張作霖要實現自己的計劃，也不那麼容易。一則，皖係堅決反對由周樹模組閣；二則，周樹模本人在如此劍拔弩張的形勢下，也不肯出麵組閣；三則，保定方麵也認為，周樹模組閣解決不了問題。曹錕、吳佩孚等人的目標，是要解散安福係，免掉徐樹錚。北京免靳雲鵬的命令下達以後，曹錕、吳佩孚立即致電徐世昌，認為西北軍不移歸陸軍部節製，禍根尚在，“歸段統率，與歸徐統率一也”，實際上是換湯不換藥。7月3日，曹錕又公開發表了一封通過張作霖轉致徐世昌的電報，強烈要求立即撤罷徐樹錚的職務。該電說：“安福奸黨，倒行逆施，天人共憤，迭經中央申明法紀，迄未奉準。今聞彼黨益無忌憚，竟欲擁段組閣，貫徹亡國主義，是皆徐樹錚等之鬼蟲或伎倆。三軍將士倏聞之下義憤填膺，甚有直向神京殲此醜類之勢。幸請大總統剛斷，先行罷免徐樹錚各職為入手辦法，以平眾怒，否則錕實無法排解，惟有不負維係之責。”