左宗棠無可奈何，但他對海防仍然不放鬆，幾次抱病去沿海視察新建立的漁團和炮台工事。光緒九年（1883年）九月，他到江陰、靖江、通州（南通）、海門、崇明、吳淞等地，檢閱漁團水勇，水勇們演習泅水、鳧水、爬桅、超躍、打靶等，技藝嫻熟，“精能過人”，參觀者都詫為罕見。左宗棠對操演純熟的水勇分別賞給功牌、銀牌或印委，對技藝生疏者予以訓斥，漁團都“歡欣鼓舞，踴躍爭先”。在崇明檢閱時，突然遇到暴風，在歸途中還到清江視察運河堤工，商議淮河歸回故道的工程，但是已染上病，舊疾複發，左目幾乎失明。醫生說是：“肝脾火鬱，心失所養，非悉心靜攝，難期見效。”因此他再次上奏，自陳衰病，請準予開缺，回籍調理，奏中還提出興辦江南水利的意見，念念不忘朱家山開河工程，“引淮水仍歸雲梯關入海，足以截斷眾流，捍衛淮揚億萬生靈，化災區為腴壤。”
清朝廷因這時中越邊境戰事告緊，還需要借重他的威望，不同意他告假回籍，諭旨說： “覽奏，目疾增劇，殊深廑係。該督威望素著，現籌辦海防之際，正資倚任。所陳擬辦江南水利，亦於民生大有關係。左宗棠著賞假兩月，安心調理，毋庸開缺。” 還下詔敦促王德榜成軍出關。
左宗棠於是通知王德榜在永州招募了10營兵勇，號為“恪靖定邊軍”，又籌了一批軍火糧餉，促他即往桂越邊境增援。
光緒十年（1884年）正月，王德榜率“恪靖定邊軍”抵達廣西南寧。這時左宗棠的目疾更厲害了，再次奏請開缺，並推薦由曾國荃、楊昌？、裕祿三人之一取代他。在諭旨尚未批下時，正月初五日正當大家高高興興過年的時候，他卻抱病又到了清江，研究引淮入故道的工程，因地勢北高於南，為避免洪患，提出次第施治的詳細方案。廿三日回到揚州，又去崇明、上海等地檢閱漁團和海防工事。二月朱家山河工程落成，二月初二他到朱家山河視察，初三日回到南京，這是他任兩江總督的最後一次出巡。
回南京後，他再次上疏告病。朝廷因他一再疏請，勉強同意了他暫時告病休養，賞假4個月。內閣學士周德潤得知後，上疏說：“勳臣不宜引退，請旨責以大義，令其在任調理。”朝廷於是又下諭旨說：
“左宗棠勤勞懋著，朝廷倚任方殷，當此時局艱難，尤賴二三勳舊之臣竭誠於濟。豈肯任其功成身退，遽賦歸田。隻因該大學士目疾增劇，而兩江地大物博，政務殷煩，又難靜心調攝，是以降旨開其總督之缺，仍賞假四月回籍。原欲其安心調理，俾得早日就痊，出膺重寄。該大學士素著公忠，諒不至稍耽安逸。著即趕緊調治，一俟稍愈，不必拘定日期，即行銷假，以付委任。”
一個月以後，三月十三日，曾國荃奉朝廷之命來到南京，代理兩江總督；左宗棠交卸了職務，暫時在家中休養。
那時中越邊境戰事突趨緊張，進駐越南的清軍紛紛潰退。當一年前徐延旭和唐炯的軍隊進駐諒山、山西、北寧等地時，法軍正分兩路進攻順化和劉永福的黑旗軍，徐延旭和唐炯坐視黑旗軍被攻擊，不往授助。後了黑旗軍打了勝仗，他二人又掠為自己的功勞，上報朝廷，因而被升為廣西和雲南的巡撫。法軍攻順化的部隊卻節節勝利，不久逼近首都，強迫越南訂了《順化條約》，越南承認為法國的保護國，外交、關稅、民政、司法，一切均受法國理事官的監督，越南實際已亡於法國。不久，越南內部發生政變，不承認《順化條約》，法國因而再向越南發動全麵進攻。駐守鎮南關外的淮軍提督黃桂蘭一方麵受李鴻章主和投降的影響，一方麵淮軍紀律欠佳，本人又酣酒荒淫，越南人民恨之入骨，戰事一起，全軍潰敗，黃桂蘭自殺。徐延旭和唐炯也不戰而退，被清廷革職拿問。奉命指揮戰爭的雲貴總督岑毓英也望風而逃。劉水福的黑旗軍退到了雲南邊境的保勝（老街）。隻有左宗棠派去的王德榜“恪靖定邊軍”還扼守在諒山和鎮南關一線。法國海軍又派軍艦向福建和江南海口駛近，竟圖海陸兩麵夾擊中國。
左宗堂得知戰況緊急，氣憤已極，當時他的目疾稍好了些，也來不及回湖南家鄉休養，4個月假期隻休息一個月，就立即銷假。他看到王德榜一軍獨守諒山、鎮南關，軍力單薄，恐防有失，就上疏請派前浙江提督黃少春在湖南招募新軍，前往廣西增援，黃少春也是他部下一員猛將。那時法國因為軍事布置尚未就緒，玩弄緩兵之計，法國公使到天津，通過一個與李鴻章關係密切的曾任天津稅務司的德國人德璀琳向李鴻章提出議和。清朝廷本來對戰爭就畏首畏尾，猶疑不決，不同意左宗棠的意見，下詔停止招募新兵，而且召左宗棠進京。
光緒十年（1884年）四月，左宗棠奉詔赴京入見，他已交卸了兩江總督。正在北上途中，聽到李鴻章與法使福祿諾在天津簽訂了《中法簡明條約》，約中規定：中國承認法國占領越南，撤回駐在越南的軍隊，並允許法國商品由雲南、廣西自由輸入內地等。這項條約嚴重地損害了中越兩國人民的利益，又向侵略者打開了中國西南大門。左宗棠是一貫的主戰派，在離南京之前，還曾寫信給總理衙門，主張為抗拒侵略，不惜與法國一戰。聽到這項賣國條約的簽訂，宛如一盆冷水向頭上潑來，氣忿之極，立即向朝廷寫寄一份“時務說帖”，反對在侵略者麵前采取妥協投降政策，認為這樣將遭受被瓜分的危險。他說：
“法人得隴望蜀，勢有固然，……吾華何能高枕而臥？若各國從而生心，如俄人垂涎朝鮮，英人凱覦西藏，日本並琉球，葡萄牙據澳門，鷹眼四集，圜向吾華，勢將括糠及米，何以待之？此固非決計論戰不可也。”
他認為隻有決戰，才能解救中國被列強瓜分的危局。他還分析了敵我形勢，以為戰勝法國是完全可能的。“法人欺弱畏強，實躁急而畏難，近時國內黨羽紛爭，政無專主。吾華果示以力戰，持之期年，彼必自餒；況且虛懸客寄之師，勞兵數萬裏之外，勢難持久，此議和之應從緩也。”
至於國內形勢，他也作了分析：海防早有準備，兵船、炮台林立，將士應命，“聲勢已張，無虞侵犯”。他又興辦了沿海漁團，“數月以來，成效漸著，外人頗為震懾。”他雖已年過七十，衰病之身，卻仍雄心勃勃，再次要求親赴前線督師，“不效，則請重治其罪，以謝天下”，表明了他必勝的信心。
他並不是盲目的樂觀，他認為，在中越邊境陸防上，有兩支部隊可恃。一支是王德榜率領的“恪靖定邊軍”，這是他派去的嫡係部隊，具有頑強的戰鬥力，自不待言。另一支是劉永福的黑旗軍。劉永福原是在廣西的一支獨立的農民起義部隊的首領，同治五年（1866年）進入越南，因為隊伍以七星黑旗為標誌，因此被稱為“黑旗軍”。黑旗軍因曾協助越南王朝擊退法國侵略軍，被越南冊封官職，受到倚重。後來又屢挫法軍，他的隊伍原來已有2000多人，後擴充到萬餘人以上。因為黑旗軍是農民部隊，朝中一些人誣蔑之為“匪”和“土寇”，左宗棠卻給他以很高評價，他說：“劉永福以一健卒為越南捍衛邊疆，力挫凶焰，為一般人所難能。……劉永福在中國本非亂民，而在越南則為義士。”他為了保護劉永福，證明他並非“亂民”，寫信告知總理衙門大臣恭親王奕盉說，劉永福原是王德榜部下散勇。這卻並非事實，隻不過是他深恐劉永福因“出身”問題受到排斥，有損邊防力量所行的一時權宜之計而已。 他又從江寧軍火庫中調撥水雷、火箭等運往前線，寫信給雲貴總督岑毓英，囑他幫助劉永福，說：“越南所以能苟延者，賴有劉永福。……以兵器等暗助劉永福，俾有所憑借，不致為所搖撼，則越南安而滇、粵邊境亦安矣。”同時，他還吩咐王德榜帶軍械資助劉軍。
李鴻章與福祿諾在天津簽訂的《中法簡明條約》不僅左宗棠反對，也遭到朝野的不滿，一時彈劾李鴻章的奏章多達47封。社會上一些人稱他為“漢奸”。李鴻章排行第二，人稱李二先生。當時蘇州有一位著名醜角戲劇演員叫楊三，因病去世。好事者撰了一副對聯雲：
楊三已死無蘇醜，
李二先生是漢奸。
這副“無情對”因為對仗工穩，傳誦一時。其實，“漢奸”（正確說，應是“華奸”）並非李鴻章一人，同情他的大有人在。慈禧對他就深為依畀，將彈劾他的奏章擱置一邊，對左宗棠的意見也不采納。
五月二十日左宗棠抵達京師，朝廷仍命他入值軍機，上諭說：“左宗棠卓著勳績，年逾七旬，著加恩毋庸每日到班，遇有緊要事件，預備傳問，並著管理神機營事務。”朝廷對他仍然優禮有加。可是正值邊事緊張，他是辦事認真負責慣了的，坐在家中反而不習慣，不久他就主動申請，以後仍每天到軍機值班。
他先住在西華門弘仁寺，後來搬到金魚胡同賢良祠。朝廷著他管理神機營，這是衛戍京師的重要任務。神機營的大小官員都來拜謁，車馬盈街，十分擁擠。其餘六部九卿、親朋故舊也紛紛來拜，如無要事，他均辭謝不見。主戰派歡迎他的到來，對他寄以希望；主和派則厭惡他，暗中準備排斥他。主戰派的首領醇親王奕，其他朝內外大臣還有翁同騄、陳寶琛、張之洞、彭玉麟、劉錦棠等。
翁同騄對左宗棠重回京師，滿心喜悅，第二天就去西華門拜訪，恰值左宗棠外出，沒有見到。以後他們又經常來往，討論國事；當時朝內外最關心的是對法和戰的事，他們都是主戰派，談得很投機。左宗棠對翁同騄說：“對法國必須打一仗。
王德榜、李成謀、劉明燈這些老部將都足以打敗法國兵，無足可怕。”他還反複告知翁同騄，心理因素在戰爭中的重要性，說：“打仗是一門學問，最重要的是氣定（穩定的心理因素），氣定則一人可勝千百人；否則，千百人將為一人所驅。” 左宗棠也常去見醇親王，奕力主抗戰，二人都認為目前朝野內外風氣萎靡疲遝，如不及時振作，後患不知伊於胡底。法國人的要求，即使勉強答應它，也不過如剜肉醫瘡，隻能暫救目前之急，於長遠更有害。何況法國人並不是真想打仗，也沒有力量打，隻是騎虎勢成，虛聲恫嚇，隻要國人上下一心，何愁不能挫敗它的陰謀。針對投降派的畏外、失敗心理，左宗棠憤然說：“勝固當戰，敗亦當戰！”表現了中國人寧願站著死、不願跪著活的英雄氣概。當時的《申報》特別記載了這段話，還評論說：“侯相此言，真不愧英思壯論，義正詞嚴。彼法人聞之，當亦色然氣阻矣。”奕對左宗棠很尊重。每當宗棠到軍機時，轎子來到隆宗門，早有兩名蘇拉在旁伺候，扶他進門。皇上召見，有兩名太監奉旨前來，專為扶掖他入內。進內右門時，醇王讓宗棠先走。慈禧對左宗棠也很客氣。有一次召見，因宗棠聽力不很好，慈禧就自己將寶座移前，然後麵諭機宜。當時報紙記載此事，以為左宗棠受清皇室寵愛非同尋常。