3月2日，段以國務總理身份邀請參眾兩院議長和國會中各政黨領袖舉行座談，說明對德絕交的必要，列席者都沒有表示不同的意見。這一天協約國的七公使公推法國公使康悌向北京政府陳述他們敦促中國加入協約國的意見。3月3日國務會議通過對德絕交案，並草擬一個致日本政府的節略，交由駐日公使章宗祥向日本政府提出，請日本政府切實讚助中國政府所希望的，在對德參戰後取得的四項權利。（即一、逐步提高關稅，中國方麵改訂貨價表後，關稅由原有的值百抽五增為值百抽7。5，裁撤厘金後，再增為值百抽12。5；二、緩付庚子賠款，除德國賠款永遠撤銷外，協約國賠款緩付十年，在此時間內不加利息；三、廢止《辛醜條約》關於軍事的部分，即廢止天津周圍20裏內不得駐紮中國軍隊，中國不得在大沽口修建炮台，各國得在使館區域及京奉路馬家堡至山海關之段駐兵等條款；四、中國不派兵到歐洲，而隻擔任以原料及勞工供給協約國。）節略末段說：“深信日本政府對中國之誠意。”這個電稿送到總統府後，黎元洪把它擱了下來。
3月4日段又偕同全體閣員到總統府，請黎在政府向國會提出對德絕交案的谘文上蓋印，同時請黎把留中的給駐日公使電報發出去。黎卻很認真地說：“這是一個有關國家命運的重大問題，我們不可草率將事，因此要多加考慮。”接著黎並強調：“各省軍人都反對對德宣戰，對德絕交就是宣戰的先聲，應當先統一全國軍人的意見，然後才能決定。”
段氣得臉都變了色，他隻說了這麼一句：“協約國方麵不止一次地催促我們對德絕交。”
黎也激動地說：“如果我們聽從協約國的命令，我們就不是一個有自主權的獨立國了。根據《約法》，大總統有宣戰媾和的特權，我今天既然是總統，就該對一切負責任。”
教育總長範源濂是支持段的，他搶著發言，言詞非常激烈，他說：“總統雖有特權，責任則在內閣。總統既不對國會負責，又可推翻內閣的決議案，這樣的總統，簡直像專製皇帝一樣了。”範說到此，竟不顧體製，情不自禁地把手在台子上重重一拍，並且說：“總統簡直優柔誤國！”這話一出頓時使空氣非常緊張，黎也不知該如何是好。幸而張國淦趕快緩和局勢，他勸範對總統不可失去禮貌，更不可感情用事，應當心平氣和地討論國是。
那一邊段也按捺不住，他盛氣淩人地說：“總統既然不信任我，事事和我作梗，國會又處處找我麻煩，和我背道而馳，這樣的國務總理我是沒法幹下去了。”於是段站了起來，一聲不響，向黎半鞠躬，然後退出，全體閣員自然也跟著總理一塊退了出來。黎則像一個木頭人，既不開口，且一動也不動地僵坐在總統位上，眼望著段和全體閣員退席。
這天（3月4日）的晚上，段沒有通知任何人，即掛專車由京赴津，恰好剛剛進京的馮國璋正在出席陸軍軍官的歡迎會，得知這個消息，便匆忙地趕到東車站來勸段，請他以大局為重，不要負氣出走。段說：“這個人（指黎）太不好共事了，他口口聲聲說宣戰和媾和是大總統的特權，殊不知今天是責任內閣製，總統既然有特權，內閣還有什麼事情可做，我何必還要屍位素餐呢？”他不顧馮的勸告，悻悻然跨上了火車前往天津，抵天津後下榻意租界段芝貴私邸。這是民國成立以來，國務總理因和總統政見不和拂袖出京的第二個，在段以前，則是唐紹儀在民國元年因不滿袁的獨斷獨行而赴天津。
總統府方麵聽說段祺瑞負氣出走，卻是正中下懷，當時總統府秘書長已換了夏壽康，此人很會做官，從不多問一事，府內要務多由黎元洪身邊的軍事幕僚哈漢章、金永炎、蔣作賓、黎澍等作主，哈等想借外交問題推翻段，因此在此對德絕交和宣戰問題上就專和段過不去，黎本人當然也希望換一個比較能合作的總理，不過他怕撤換段以後，會引起北洋軍係的反感，因此他便促請徐世昌或王士珍來繼任內閣總理。
黎和他的左右都知道，徐如果出山，張勳等督軍團實力派是會支持徐的。可是徐是個老狐狸，在這時他怎會接受黎的邀請而得罪段，他當然敬謝不敏。黎轉過頭來找王士珍，王士珍也不肯跳火坑。但是黎完全不想請段回任，希望借段負氣出走而將錯就錯，不讓段回京。馮國璋則勸黎對這個問題要多加考慮，不可走極端，同時自告奮勇願到天津去勸段回京，黎不好拒絕馮的勸告，但不讚成由馮出馬，認為這樣一來，段便占了上風，所以黎隻同意派眾議院議長湯化龍赴天津勸段回京。
這一天，在天津的直隸省長朱家寶向馮國璋告密，說段已擬就了辭職出京的通電，請各省軍民長官一評曲直。這是把總統和總理的政爭攤開來給北洋軍人評是非，也是向黎威脅的一種手段。可是，段的電報還未發出，各省軍閥已有通電到北京，要求挽留段。
5日晚間黎再度邀馮國璋、徐世昌、王士珍入府討論政局。馮國璋把朱家寶的告密電閃爍其辭地講了出來。這一來，黎的勇氣就頓時消失了，他轉而請馮親自到天津先勸段返京。他無可奈何地說：“好吧！外交問題就讓芝泉（段的號）主持，我完全沒有意見，不過總以服從多數為宜。”
馮國璋到天津找到了段，向段說：“隻要國會能通過對德絕交案，總統當會依法執行，決不會加以幹涉。”
6日，馮偕段一同回到北京，馮到總統府向黎報告任務達成，段則回府學胡同私邸。
7日段到國務院辦公，第一件公事就是把致章宗祥的電報發出。下午馮陪同段到總統府謁黎，段向黎一鞠躬，坐下來嚴肅地談了一套對德絕交有利於中國的理由，如對德絕交後協約國方麵承認緩付庚子賠款，修正《辛醜條約》及提高關稅等。黎也嚴肅地聽著，但沒有開口談話。
8日，駐日公使章宗祥複電報告和日本政府接觸的經過，日本政府催促中國政府應先行對德絕交，關於絕交後的權利、義務問題，協約國自可協商解決，中國不必事先提出條件。
9日段在迎賓館招待國會議員，把政府的外交政策作了一個說明。
10日段出席眾議院，提出對政府外交政策的信任案，眾議員以331票對87票表決通過。11日參議院議員以158票對35票表決通過。
3月14日正式公告和德國斷絕外交關係。
中國政府宣布與德國斷絕國交同時，宣布收回天津和漢口的德國租界，解除中國境內的德軍武裝，停付德國賠款和欠款。對德國僑民則仍表示友好，在中國各部門服務的德國人一體留用，各地德國商人照常營業，傳教士照常進行宗教活動。德國公使辛慈下旗歸國時，黎元洪還贈給他許多珍貴的禮物。辛慈於3月27日過上海返國時，上海官方還派人到車站迎送，兵士舉槍致敬，軍隊奏國樂如儀，一切禮節就和未絕交以前一樣，正應了中國一句傳統的俗語：“君子絕交不出惡聲”。
對德絕交令下後，黎元洪鬆了一口氣，他認為對德的一篇文章已經做完了，可是在段祺瑞而言卻認為這個問題隻走一半的路，還有另一半宣戰問題沒有做。所以黎、段兩人的惡化關係，並未因對德絕交而緩和，反而因此更為惡化。因為段認為對德絕交案是第一步，第二步是對德宣戰案。
那時候的軍閥對於國際事務非常無知，有時甚至讓人啼笑皆非。他們認為宣戰就是要派兵赴歐洲同德國開打，生怕這事派到自己頭上，失去地盤，於是大多數人堅決反對對的宣戰。段早已決心對德宣戰，所顧慮的隻是北洋軍和北洋附屬軍將領的反對，如果不把他們的態度改變過來，就引起北洋派的分裂和全國的混亂，從而動搖他的政權。因此，4月中旬他用急電召集各省督軍進京討論外交問題，並且說如果不能親身來京，請派全權代表參加會議。
首先應召到北京的是北洋派急先鋒倪嗣衝，他在蚌埠動身時還發表了對德宣戰一定會引起亡國之後果的反戰論調。到天津時公開地罵主張對德宣戰的梁啟超是“亡國文妖”；他還不懂得北京政府的行情，以為總統是一國的元首，地位在內閣總理之上，因此到北京時不先見總理而先見總統。他原來不是段的爪牙和北洋派的嫡派，而黎、段兩人對他的印象都很惡劣。他見黎時態度非常恭順，保舉侄兒倪毓棻為陸軍中將，保舉兒子倪幼忱為陸軍少將。過去他在權威赫赫的袁大總統的麵前幾乎是“有求必應”，因此滿以為這位“寬厚慈祥”的總統不會拒絕他的要求。不料黎對段內閣召集軍事會議這一舉動本來很不痛快，對倪更存有厭惡之心，又想借一個軍閥開刀以立威，因此沉下臉色來大聲叱斥說：“怎麼，你到北京來是為你的侄兒、兒子謀功名富貴的嗎？他們配當中將、少將嗎？”倪想不到碰了這麼大的釘子，隻得喏喏連聲地退出來。
倪又跑去謁段。段雖然對他同樣厭惡，卻態度和藹可親地向他詳細說明對德宣戰並不需要出兵的內幕。於是，這個反對參戰最力的地方軍閥頓然變成了主張參戰最力的健將，從參戰足以召亡的論調轉為參戰始能圖存的論調，並且大聲疾呼地說：“應當無條件加入！加入愈快愈好！”
繼倪嗣衝之後，先後應召到北京的有山西督軍閻錫山、河南督軍趙倜、山東督軍張懷芝、江西督軍李純、湖北督軍王占元、福建督軍李厚基、吉林督軍孟恩遠、直隸督軍曹錕、察哈爾都統田中玉、綏遠都統蔣雁行等。其餘北方和西南各省督軍都派代表列席。4月25日，軍事會議開幕，出席和列席的督軍、督軍代表20餘人，海軍總長程璧光和陸軍訓練總監張紹曾也都被邀參加。段親自主席，說明召集這次會議是為了討論軍製和外交問題。督軍公推李純代表發言，關於外交問題，會議前已經接洽好，大家都不反對對德宣戰，各督軍並擬一同到協約國各公使館聯絡感情。段早已準備好一張簽名單，上麵寫著“讚成總理外交政策”八個字，請各省督軍和代表親筆簽名。以一個省區或一個軍區（包括護軍使）為一權，共計25權，全場一致簽名。
督軍們聯袂拜會協約國各公使，各公使也居然設宴招待他們。
5月1日，國務會議正在舉行，忽然闖進來二十幾個督軍和督軍代表要求參加會議，這又是在國內政治上從來未有的事情。各督軍公然在會議上紛紛發言，首先是倪嗣衝主張無條件加入協約國，快快加入。張懷芝接著說：“地方上老百姓都是要打德國的，如果不尊重民意，就會鬧出風潮來，咱們地方官負不起這個責任。”孟恩遠、李厚基也都隨聲附和。這時外交總長伍廷芳已提出辭職、教育總長範源濂正在請假中，都未出席閣議，財政總長李經羲未就職，內務總長未補人，交通總長許世英因賄案被免職逮捕，因此參加閣議的隻有海軍總長程璧光、農商總長穀鍾秀、司法總長張耀曾三個人。這三個閣員都沒有提出不同的意見，對德宣戰問題就是這樣算在國務會議上通過了。
5月3日，各督軍到公府見黎，想利用督軍團的聯合聲勢威脅黎，嗣後不得再阻撓內閣關於外交問題的決定。這次又是倪嗣衝首先開口，重複著他逢人便說的“隻有對德宣戰中國才能立足於國際舞台”的老調。黎知道他們是受了段的指使，在威脅國會之後進一步地跑來威脅他，因此他的滿腔怒火實在沒有方法按捺下來，當麵痛斥各督軍不應擅離職守跑到北京來開會，不應以軍人的身份闖入國務會議場所幹預國政，不應擅自成群結隊與外交團直接周旋。他氣忿忿地說：“宣戰媾和是本大總統的特權，不許你們侵犯，你們責在守土。”
當倪嗣衝提到“各國公使都希望我們參戰”的時候，黎的氣就更大了，他大聲地怒吼：“你是省長，憑什麼資格和外交團說話？”倪又強辯他這次到北京來是奉召參加軍事會議的，不能算是擅離職守。黎怒斥說：“你是省長，憑什麼資格參加軍事會議？”
這是北洋軍人首次受到的厲聲嗬斥。當袁世凱權威極盛的時期，總是慣於用好言好語和高官厚爵羈縻他們，他們做夢也想不到素稱寬厚慈祥的黎會給他們這樣大的釘子碰。究竟總統是一國的元首，他們受了氣也還不敢當麵挺撞，隻得諾諾連聲地退出來。
同一天晚上，另外一個小圈子的秘密會議在府學胡同段寓舉行。段也覺得局勢很嚴重，總統和國會兩關都不容易打通。他認為黎予督軍團以難堪，言下不勝憤慨。此時傅良佐站了起來，大聲地說：“沒有大不了的事，總統不蓋印，就驅逐總統！”國會不通過，就解散國會！張國淦認為這不是辦法，一切問題應當在軌道上進行。段考慮了一下，也就接口說：“對，我們應當按軌道辦事！”
5月6日，段偕同各閣員到公府，請黎在擬就了的關於對德宣戰案的谘交國會文上蓋印。黎說：“這個問題關係不小，我們應當多加考慮。”範源濂又首先站起來當麵指斥黎“優柔誤國”。他抑製不住十分激動的情緒，在說完了這段話之後，竟然暴跳如雷地衝出去，因為用力太猛，關門時竟把門上的玻璃震碎了。接著，段默不發言，悻悻地不告而去。黎也不說一句話，示意把印蓋好，將原件交與張國淦帶回國務院。
5月7日，對德宣戰案提交到國會表決。
5月8日，段在國務院邀請國會各黨派主要人員108人舉行談話會，解釋對德問題的四個疑點：第一，說明俄國發生革命，俄、德單獨媾和的謠言沒有根據；第二，保證參戰後對日本沒有秘密外交，中國政府並不偏重一國；第三，對德宣戰後中國沒有實際戰爭，全國無施行軍法的必要；第四；德國現已轉攻為守，沒有取得最後勝利的可能。
當天晚上，國會中各黨派紛紛開會討論對外交問題所應采取的態度。憲法研究會（研究係）決定同意政府對德宣戰的政策，益友社反對無條件地對德宣戰，政學係反對和讚成的兩派旗鼓相當，表決時反對派僅多獲數票勉強超過半數。事實上國會對參戰問題意見非常混亂，除研究係旗幟鮮明外，沒有一個黨派能夠有堅定不移的主張，也沒有一個黨派能夠有全體一致的主張。