光緒十年（1884年）二月，越南北寧、太原又先後失守。駐越清軍敗回國內。負責前敵指揮的雲南巡撫唐炯和廣西巡撫徐延旭都被革職拿問，另調張凱嵩和潘鼎新分別署理。主持中樞的軍機大臣們也因戰事的失敗而受到清流派的猛烈攻擊。慈禧太後趁機將全班軍機大臣都撤換成禮親王世鋒為首的新人，將總理衙門換成慶親王為首的人，讓她的妹夫奕操縱軍機處和總署兩處大權，而她自己則幕後操縱奕。實現她的集權。
光緒十年三月二十二日（1884年4月17日），前天津稅務司德璀琳從歐洲回華，帶來法國海軍艦隊總兵福祿諾給李鴻章的密函。福祿諾在光緒五六年（1879年、1880年）時曾在天津駐防過，是李鴻章的老相識。這次他用密函表示願意從中調解越南問題。兩天後，李鴻章函告總署，對越事應該早日收場。他分析說： “與其兵連禍結，日久不解，待至中國餉源匱絕，兵心民心搖動，或更生他變；似不若隨機因應，早圖收束，有裨全局矣。據德稅司雲，福祿諾與之要約，八日內在煙台候信，如廷議許其講解，應請先給回信，再由鴻章察看福祿諾如何議論，倘彼國有大員來津，屆時當奏請欽派大臣前來會商，相機籌辦。鴻章身任疆事，分應備兵禦侮，不敢專主和議，伏乞鑒原。” 本來是建議接受福祿諾調停的，卻說不敢專和議。自然是為了避免主戰派的攻擊。
總理衙門根據這封信請示慈禧太後，得旨：“事屬可行，許其講解”。立即電告李鴻章在津與福祿諾議訂簡明條約。
四月十二日（5月6日），李鴻章與福祿諾在天津商訂簡明條款五條，第二天，李鴻章函告總署，強調此次談判是在“我軍潰敗之後，如挽逆流上水之舟，鴻章實智盡能索，若於此外再有爭較，則事必無成，患更切近。”總署請示慈禧批準。四月十七日（5月11日）李鴻章正式與福祿諾在北洋公署簽訂《中法簡明條款》五項。主要內容是：
一、中國南界與越南北沂毗連，法國應保全，不令受侵。
二、中國駐在北圻的各軍均應調回邊界。
三、法國不要求賠款，中國允其在南境通商。
四、法國聲明在現與越南所訂條約中決不插入有傷中國尊嚴體麵的字樣，並將以前與越南所訂各條約中關涉東京者盡行銷毀。
五、兩國於三個月內派全權大臣會訂詳細條款。
這個條約一般稱為李福簡約，或李福協定。
李鴻章訂好了這個條約，大舒了一口氣。他以為爭端已經和平解決了，今後又可以專心搞建設了，他說：“定艱危於俄頃，使數年來法越糾葛不定的爭議，得一結束之方，從此保境安民，練兵簡器，徐圖自強，天下幸甚！”
將這份簡明條款奏上朝廷的同時，另在附片中保薦具體議約的馬建忠“貫通中西各學”。
但是，他這個條約大受攻擊。主戰派彭玉麟等人都反對這樣的和議。參劾他的奏章達到47起之多。
法國方麵也很不滿。因為在和議第四款中含有默認中國對越南宗主權的意思，所以仍不滿足，議會不批準。接著，因為在諒山發生交接陣地的誤會和衝突，中法之間的戰爭重新爆發。 誤會的產生與李鴻章有關。福祿諾離津時，曾與李鴻章相約清兵須在三個月內從越南北圻撤兵，法軍屆時要巡視邊境，並驅逐劉永福部隊。李鴻章沒有表示同意。他以為福祿諾不過說說而已，沒有上奏朝廷。
但他也做了一些通告信息的工作。五月十二日（6月5日），他給兩廣總督張樹聲去電說，四月十五日（5月9日）朝廷諭旨下令前線軍隊駐紮原處，其實朝廷不知道各軍駐紮於何處。十七日（11日）所訂之約內有將兵調回邊界的說法，雖然已經由敝處抄送雲、桂，但似沒有調回的意思。朝廷內隻是讓敝處續議條款，其餘一切不用我過問。隻好請外麵相機辦理了。法國一定要驅逐劉團，並不是與岑毓英為難。岑一向善於機變，臨事當能自審進止；法國也一定不會越過我方邊界，望轉告潘鼎新。
這就是說，他知道朝廷沒有下達正式撤軍的命令，但他已經把條約中關於將兵調回邊界的條文抄送雲、桂前敵指揮者。因此他寄希望於前敵將帥的隨機應變和法國軍隊的不越我界。
可是，朝廷雖然批準了他與福祿諾所訂的條款，卻又在主戰派的輿論挾製下，轉為強硬，不想撤兵了。五月二十八日（6月21日），軍機處給李鴻章一份諭旨說：“此時若將全營撤回邊界，殊嫌示弱。”就在這一天，軍機處已經命令前敵潘鼎新固守陣地，如法軍前來尋釁，“即與決戰”。“尚可以責以釁自彼開之咎”。 閏五月初一日（6月23日），法國軍隊開到諒山以南的觀音橋，要求接收陣地。於是發生中法觀音橋衝突。李鴻章苦心經營的和平破滅了。
法國駐華代辦謝滿祿向總署抗議，要求中國賠償並按約撤出北圻。總署回答說，條約僅規定三個月會議詳細條款，並沒有規定調回防營的日期，而法軍首先開火，所以中國不能負開釁的責任；希望法國速派大臣談判，以敦友誼。
初十日（7月2日），朝廷以密諭責備李鴻章並未將約定撤兵事上報朝廷。十三日（5日），李鴻章進行解釋，將他的苦衷全盤托出： 查福祿諾臨行時，忽以限期退兵相要挾，臣當即正言駁斥，仍飛函密告雲貴督臣岑毓英、廣西撫臣潘鼎新，相度機宜，酌量進止，隨時奏明請旨辦理。緣臣係議約之人，與關外相距過遠，軍情地勢，究以調紮何處為宜，非敢遙度。其時適因所議簡約，雖蒙聖明曲諒，而都人士嘖有煩言，若聞福酋又請限期退兵，必更嘩躁，徒惑眾聽，臣又明知事難照行，而約款未可遽背，欲令岑毓英、潘鼎新照調回邊界約文，自行斟酌妥辦，實具委曲求全之苦衷，固未敢遽以上聞，致幹聖怒，亦未立即告知總理衙門，…… 以下且說當日並未同意福祿諾關於調兵回邊的要求，此事可以互相質證，實無絲毫含混。他估計今後法國會借口要索，越事收場更不容易。
十四日（6日），法國外長茹費理來電給李鴻章，內稱：“我們為保和局，並利益兩國起見，訂立要約，乃墨跡未幹，約章已背，法國派兵800名往取諒山，廣西竟遣兵萬人擊之。閣下允西曆本年六月六日，即中曆五月十三日，諒山退兵，我甚相信閣下之言，惟閣下發令，並未照行，中國國家如此辦事，其責成殊屬可畏。水師提督孤拔統帶兩軍北上。”
李鴻章很憂慮局勢的惡化。他擬定了致茹費理的電稿，兩天後（7月8日），他電告駐巴黎的使臣李鳳苞，讓李將致茹費理的電稿譯成法文轉交。電文如下： 來電敬悉，貴大臣以諒山一役，深抱不平，本大臣亦歉然於懷。惟是中國定例，凡將士駐守之地，非奉旨萬不敢退，即有旨退兵，亦應由驛站轉遞，路遠不能即到。故福祿諾臨行時，業經告明，限期退兵之說實不能行，不料諒山遽有戰事，此非兩國國家之意，亦非兩國大臣之意，其中必有誤會，尚望貴大臣勿忘睦誼，盡釋嫌疑，……
說明此次衝突實出於誤會，希望法國能予諒解。
他的昔日愛將劉銘傳奉詔進京，於五月二十日（6月13日）到天津，小住數日，然後入京，得旨到台灣辦理防務。閏五月十二日（7月4日）請訓完畢，又到天津與李鴻章具體商議台灣防務問題，於十八日（10日）乘輪船南下。
近日，法國新任公使巴德諾拒絕來津議約，法國海軍司令孤拔又宣揚將調集軍艦占據中國沿海地方為抵押以索取兵費賠償。因此朝廷詔命沿海各省將軍督撫和統兵大員嚴防以待。形勢十分緊張。
二十四日（6月16日），李鴻章在給以刑部右侍郎入總署辦事的許庚身信中說：“內外局勢屢變，皆出人意料之外。賴公等持危扶顛，幹濟艱巨。弟雖謗滿天下，他日猶得為山野之草民也。越事已同破甑，近複疊起波瀾，震動沿海。彼欲難饜，我餉莫支，愈久愈危，亟宜設法收束。蚊肩綿力，其何以堪？”表示他對於朝廷受到主戰派的挾製，和戰不定，很是不滿。希望許在總署內能起到一點緩解作用，以便爭取和平的結局。
李鴻章給剛進總署的張蔭桓寫信說：“法事粗定，不意又起波瀾。……執事值此時艱，讚襄機要，但冀焦頭爛額，救熄燎原，中外蒙福不淺。鴻章以叢謗之身，隻有竭力修備。……總之，和局翻一回，更壞一回，求如前約之粗疏而不可得矣。”對他施加求和影響。同日，他還給順天府尹兼總署大臣周家楣一函，傾述感想說，當軸搖惑，前所罕見，朝今夕更，洋務愈益難辦。
法國新公使巴德諾到上海，卻不肯北上天津。朝廷決定派兩江總督曾國荃去與法議約。但曾國荃不願意跳這個火坑，向總署表示“萬萬不敢與聞和議。”李鴻章勸他要以國家大局為重，不要考慮個人利害毀譽。
在李鴻章勸說下，曾國荃於六月初四日（7月25日）到達上海，籌備和談。
如同李鴻章所料，在六月初七日（7月28日）的會談中，巴德諾向曾國荃提出新的要求：一、清廷要明確革除劉永福的黑旗軍，不與聯絡；二、中國要賠款2.5億法郎，合中國銀1250萬兩。曾國荃隻答應給50萬兩銀，作為對法兵傷亡者的撫恤。雙方目標相距過遠，無法談成。六月二十八日（8月18日），清廷命曾國荃中止談判，回省籌備防務。同時，命李鴻章電告各省嚴行備戰。
中旬，法軍軍艦進攻台灣基隆，劉銘傳率守兵與法軍激戰。中國向法國提出抗議。
二十九日（8月19日），法使謝祿滿向總署提出最後通諜，要求中國賠償軍費0.8億法郎，於十年內交清，並限二日內答複。 總署於三十日（20日）電告李鴻章。李看到事態惡化，立即電告南洋、閩南、台灣等地備戰，並電告張之洞轉命潘鼎新和岑毓英迅速進兵越南，又電駐法公使李鳳苞離巴黎回德都。七月初一日（8月21日），朝旨根據李鴻章建議，命駐德使臣李鳳苞選聘德國軍官50人到天津。同日，法使謝滿祿也下旗離開北京。中法戰爭就要爆發了。
七月初三日（8月23日）午後，事先已經進口的法軍海軍艦隊司令孤拔下令突擊中國福建水師。迅速擊毀揚武等7艘軍艦，轟毀馬尾船廠。第二、第三天又破壞馬江沿岸炮台。