袁世凱始終默而不答。日置益走後，據說袁世凱很生氣，大叫：“我要做皇帝，也不做日本的皇帝！”
“二十一條”嚴重損害了中國的主權，充分暴露出日本帝國主義吞並中國的猙獰麵目，承認了它，中國就要淪為日本的保護國和殖民地，就要亡國滅種。
當晚，袁世凱召集外交總長孫寶琦、次長曹汝霖和徐世昌、段祺瑞、梁士詒開會，接著又討論了三天，並令外交次長曹汝霖、參事顧維鈞、伍朝樞等人會同日本顧問有賀長雄會商對策，擬出說帖，最後議定了交涉步驟和方針。21日，日置益向孫寶琦遞送了同樣條款。為施展拖延戰術，袁世凱將孫寶琦免職，以陸徵祥代之。
1915年2月2日，雙方在外交部舉行第一次秘密談判，中國方麵出席的有陸徵祥、曹汝霖、施履本；日本方麵出席的有日置益、小幡酉吉、高尾亨。
日本無故向中國提出要求，中國完全有理由嚴詞拒絕討論。但袁世凱洞悉日本的擴張政策；深知中國打不過日本；同時認為其他列強正在忙於世界大戰，隻有日本有力量幹涉中國事務，如果與日本結好，當皇帝就有了國際保證。
因此，為取得日本的又持，換取一姓尊榮，他決定同日本進行談判。對於“二十一條”，袁世凱作了詳細具體的批示，某號某條談不談，如何談，基本上都有明確的意見。對第五號，他認為日本幹涉內政，侵犯主權，堅持不議，態度比較堅決。
並指示陸徵祥逐條討論，故意泄露日本的要求和談判情況，爭取國外輿論的同情，利用擴大帝國主義之間的矛盾，引起外國的幹涉。還派有賀長雄赴日本探聽元老們的意圖。
談判開始後，中國要求日本讓步，日本不肯。談至3月中旬，仍無結果，日本在奉天、山東增兵數千人進行威脅。4月26日，日本提出最後修正案，要求務必同意。5月1日，中國政府亦提出最後修正案。日本馬上擺出一副大打一場的姿態，命令軍艦在渤海一帶遊弋，關東實行戒嚴，日僑紛紛準備回國，空氣極其緊張。
袁世凱被日本的威懾所嚇倒，5月6日命曹汝霖至日駐華使館，相機“略示讓步之意”。正當曹汝霖與日置益會晤時，恰好駐日公使陸宗輿把日本元老會議請其政府對第五號撤回的消息發回國內，外交部立即用電話通知曹汝霖。曹汝霖臨機應變，謂剛才所言，純係個人私見，隨即告辭。
5月7日下午三點，日置益向外交部遞送了最後通牒，聲稱：“帝國政府因鑒於中國政府如此之態度，雖深惜幾再無繼續協商之餘地，然終眷眷於維持極東和平之帝國，務冀圓滿了結此交涉，以避時局之糾紛。於無可忍之中，更酌量鄰邦政府之情意，將帝國政府前次提出之修正案中之第五號各項，除關於福建省互換公文一事業經兩國政府代表協定外，其他五項，可承認與此次交涉脫離，日後另行協商。
因此中國政府亦應諒帝國政府之誼，將其他各項即第一號、第二號、第三號、第四號之各項及第五號中國關於福建省公文互換之文件，照四月二十六日提出之修正案所記載者，不加以何等之更改，速行應諾。帝國政府茲再重行勸告，對於此勸告，期望中國政府至五月九日午後六時為止，為滿足之答複。如到期不受到滿足之答複，帝國政府將執認為必要之手段，合並聲明。”
8日下午兩點半，袁世凱召集副總統、國務卿、政事堂左右丞、參謀總長、各部總長、各院院長、參政院參政、外交次長等高級官員討論最後通牒問題。陸徵祥報告了會見英國駐華公使朱爾典的情況。
袁世凱“聲淚俱下”地對大家講：“此次日人乘歐戰方殷，欺我國積弱之時，提出苛酷條款，……強詞奪理，終以最後通牒，迫我承認。我國雖弱，苟侵及我主權、束縛我內政，如第五號所列者，我必誓死力拒。今日本最後通牒將第五號撤回不議，凡侵及主權及自居優越地位各條，亦經力爭修改，並正式聲明，將來膠州灣交還中國，其在南滿內地雖有居住權，但須服從我警察、法令及課稅，與中國人一律。以上各節，比初案挽回已多，於我之主權、內政及列國成約雖尚能保全，然旅大、南滿、安奉之展期，南滿方麵之利權損失已巨。我國國力未充，目前尚難以兵戎相見。……為權衡利害，而至不得已接受日本通牒之要求，是何等痛心！何等恥辱！無敵國外患國恒亡，經此大難以後，大家務必認此次接受日本要求為奇恥大辱，本臥薪嚐膽之精神，做奮發有為之事業。舉凡軍事、政治、外交、財政，力求刷新，予定計劃、定年限、下決心，群策群力，期達目的。則朱使（即朱爾典）所謂埋頭十年，與日本抬頭相見，或可尚有希望。若事過境遷，因循忘恥，則不特今日之屈服、奇恥無報複之時，恐十年以後，中國之危險更甚於今日，亡國之痛，即在目前。我負國民付托之重，決不為亡國之民。但國之興，諸君與有責；國之亡，諸君亦與有責也。”