段祺瑞武力統一政策及其第一次對南用兵失敗後，無法在國務總理的位子上再混下去了，但他又很眷戀。因此，他一邊口頭上表示要辭職，一邊暗中活動，希望找到一個絕路逢生的機會。然而，這隻是一廂情願。直係勢力步步進逼，逐他下台。11月16日，他被迫提出辭呈，在辭呈中還處處為武力統一政策辯護，竭力強調所謂北洋派的團結和命運，說什麼“伏望諸君子時時以北方實力即國家實力為念”等等，可見是毫不醒悟！
那個時代的中國，幾大軍閥派係的起伏、消長直接涉及帝國主義的在華利益，對它們是牽腸掛肚的事。段祺瑞這次失足後，日本看到他的元氣並未損傷，也不願意因此而前功盡棄，所以，它沒有將段祺瑞一腳踢開，輕易地“換馬”，而是要對他繼續加以扶植和利用，於是，便公開幹涉中國的內政。就在段祺瑞遞交辭呈的當天，日本顧問青木對馮國璋說：“歐戰正在緊張進行，中國內閣不宜有所變更。”青木前腳走，日本公使林權助接踵而至，表示對中國內閣變動的“關心”，仍認為段祺瑞是“政局中心，遇事盡友誼援助”，並威脅說：“倘因內閣變動引起糾紛，日本政府難以坐視。”馮國璋為了避免日本的幹涉，采取了兩步走的辦法趕段下台，第一步，11月19日，解除他的陸軍總長職務，削去調動軍隊之權；第二步，11月22日，下令批準他的辭呈。
段祺瑞下台之後，為了東山再起，他又把鼓動政潮的大本營轉移到了天津。他的幽靈徐樹錚到處遊動，北到奉天拉攏張作霖，南到蚌埠聯絡倪嗣衝，還去勾結曹錕。經徐樹錚的幕後活動，“督軍團”又複活了，而且比當年陣營更為浩大，12月12日，以曹錕為首的山西、奉天、黑龍江、福建、安徽、浙江、陝西七省和察哈爾、熱河、綏遠三個特別區的軍閥代表以及上海的盧永祥和徐州張敬堯的代表集聚於天津，在孫家花園開會，議題還是主戰和對西南用兵問題。他們聯名電請北京政府頒發討伐西南的命令。“督軍團”甚囂塵上，馮國璋嚇得六神無主，步步退讓。18日，任命段祺瑞“督辦參戰事務”，並下手令說，參戰事務均交“參戰督辦”處理，不需呈送總統府和國務院。段祺瑞打著這塊牌子，為所欲為，對內發號施令，指揮各部，調動軍隊；對外勾結日本，出賣主權。這樣，這個參戰機構就成了一個有無限權力的“太上政府”，他也成了“太上皇”。1918年1月30日，在督軍團的要挾之下，馮國璋被迫下了繼續對南方作戰令。他們的這種“合作”並沒有緩和“河間（馮國璋）合肥（段祺瑞），爭攘權利”的局麵，反而使矛盾更加激化。
“參戰督辦處”成立之後，內閣就名存實亡了。但段祺瑞當國務總理之心不死，仍千方百計地要官複原職。在他的鼓動下，其部下對王士珍任國務總理憤憤不平，徐樹錚則以“接洽國防”為煙幕去奉天搞陰謀。當時，段祺瑞下台前向日本訂購的一大批軍械即將分批運至秦皇島，並陸續送到北京。據說，僅其中的一批就可以裝備12個旅，這無疑是塊肥肉。對把持著北京政府的直係軍閥馮國璋來說，是近水樓台，可以捷足先登，名正言順地用其裝備直係軍隊，擴充直係武力；對皖係軍閥來說，因事過境遷，可望而不可即，然而，它又不甘心為人做嫁衣。於是，徐樹錚就以這批軍火作為與奉係軍閥張作霖勾結起來的“等價交換物”，誘使奉軍入關，來達到自己的目的。
軍閥們都是無利不起早的，張作霖也不例外，並很快就上了鉤。由於徐樹錚用他當陸軍部次長時留下的空白介紹信去騙，再用奉軍的武力去搶，終於把這批軍火截到了手。遵照協議：奉軍原有六個旅在關內，再進關六個旅；截留的軍火奉方得四分之三，徐樹錚得四分之一；駐京奉路沿線的奉軍向天津、廊坊推進，威脅北京政府。奉軍入關後，京津一帶人心惶惶，馮國璋也十分驚恐。而“督軍團”更加起勁地搖旗呐喊，聯名發出了請段祺瑞再起組閣的通電，說：“全國安危，國人離合，均係我公一人！”段祺瑞的如此“聲威”，把王士珍嚇得逃到了天津，說什麼也不幹了；馮國璋也是低三下四地到他那裏說小話，一再請他出來組閣。可是，他還假惺惺地說：“無意於此。”直到馮國璋對天發誓，並定下承認國務院決議，總統不得擅改一字；閣員由總理選擇，不必征求總統同意；總統的電報須由國務院核發等條件後，他才接受組閣。3月23日，段祺瑞複任國務總理。卑鄙的手段達到了卑鄙的目的。
他重新上台之後，繼續倒行逆施，與日本帝國主義加緊勾結，仰其鼻息。為適應日本出兵西伯利亞，擴大對中國侵略的需要，他於3月25日簽署了中日《共同防敵協定》的換文。5月16日、5月19日，兩國又簽訂了《中日陸軍共同防敵軍事協定》和《中日海軍共同防敵軍事協定》。根據這些協定，日本不僅控製了中國的軍隊，掌握了中國的軍事情報，使中國軍隊充當其仆從軍，而且把它的軍隊“合法”地開進吉林、黑龍江等地，在這裏駐兵設警，幹涉內政，挑起軍事衝突，為所欲為，無惡不作。
段祺瑞的親日賣國行徑，在國際上引起了英美帝國主義的嫉視，在國內遭到了各界人民的切齒唾罵和強烈反對。中日簽訂軍事協定的消息一傳出，在東京的中國留學生即日罷課，召開大會，組織歸國請願團，分批去上海、北京等地聯合各界人士共同行動。他們回國後，段祺瑞立即派便衣偵探予以監視，並禁止他們開會。然而，學生愛國運動迅速發展，北京大學全體學生召開了緊急救亡大會，與歸國學生請願團采取了一致行動。段祺瑞采取扣留學生的宣傳品和封鎖消息等高壓手段防止愛國運動蔓延。一向軟弱可欺的工商界也憤怒了。正在天津召開的全國商會聯合會議決定派代表赴京請願，要求公布外交真相、停止內戰、廢除各省苛捐，並宣稱：如不接受，將舉行罷工、罷市。他們的代表到北京後，向段祺瑞請願，段竟拒而不見。廣州的非常國會、軍政府以及西南各省督軍也紛紛發出通電斥責他。全國上下形成了反對段祺瑞親日賣國的怒潮。