在當時，太平軍餘部分為南、北兩支。南方餘部以皖南和蘇、浙的太平軍為主，分別在李世賢、汪海洋等人的統率下，先是彙合於江西，後轉戰於福建和廣東。北方餘部則是由皖北的陳玉成部將賴文光等人統率，與張宗禹率領的撚軍會合，組成新撚軍，活動於黃淮一帶。此時的左宗棠，所麵對著的正是太平軍南方餘部。
福建戰事日益吃緊，作為閩浙總督的左宗棠又奔赴福建去鎮壓太平軍餘部。他在離開浙江時，還牽掛著這個省份的民生疾苦，奏上《浙省購置義烈遺阡請列入祀典致祭並蠲免地稅片》：
浙江省城前遭發逆竄踞，官紳、兵民、男婦、大小慘罹凶難，死得以數十萬計。官軍入城，屍骸枕藉。當飭辦理善後事務在籍道員胡光墉等，克日收殮其無主之全具屍骸，均備棺掩埋義山。此外累累白骨，遍地縱橫，經胡光墉同各紳士等廣雇民夫，陸續收殮於西湖南北兩山，擇地分造大塚，北山仁壽山麓地方收瘞二十一大塚，均甃石封築，前樹石碣，四麵繚垣，門中建亭立碑。工竣繪圖稟報前來。
左宗棠在奏折中遺憾地談到，浙江百廢待興，除匪安良、剔除痼弊、修複水利三件大事剛剛起步，應辦未辦之事，他已向蔣益澧和楊昌浚詳細交代。
1864年11月28日，左宗棠於離開杭州，前往福建。12月14日，左宗棠抵達福建蒲城。這時候，李世賢部占據漳州，分兵占據龍岩、永定、南靖、雲霄與平和。汪海洋部則襲掠長汀、連城、上杭等縣境，他自己駐紮南陽鄉。太平軍總兵力達二十多萬。清軍林文察部攻打漳州，駐紮萬鬆關，在太平軍的襲擊中陣亡。當地會黨趁機起事，局麵更加混亂，泉州、廈門震動。
楚軍各部終於先後到達。左宗棠令高連升部前往同安，以保泉州、廈門；令黃少春部開赴長泰，以攻取漳州；令劉典部進軍連城。王德榜已補授福建按察使，率部隨劉典繼進，合力攻打龍岩。左宗棠自己則督率親軍，挺進延平策應。
不久，太平軍在漳平包圍康國器部，劉典部從連城東援。楚軍輕率進軍，被太平軍抄襲，丟失軍營，退保連城。王德榜、王開琳兩軍抵達指定位置，會同劉典部將領黃有功、張福齊等部從連城進軍。高連升、黃少春兩部逼近漳州，與太平軍相持。
左宗棠在進入福建之前，就知道這是一個貧瘠的省份，於是決定從浙江每月籌辦支援福建軍餉十四萬兩。進入福建之後，他發現福建的政治比他想象的更為腐敗混亂。在《瀝陳閩省困敝情形請調員差委折》中，他上奏陳述福建省的困難和凋敝情狀。
左宗棠指出這個省份在吏治、軍事和政治方麵的弊端，都是因為貧困引起的。因此，要把福建治理好，首先就要理財。而理財的關鍵在於整頓政務。而要整頓政務，就要起用辦事的幹才。他請調周開錫、吳大廷、胡光墉等來福建，由他差遣委派。清廷同意左宗棠的奏請。
十二月初四日，就是1865年1月1日，左宗棠軍中路黃少春部在漳州北溪會同高連陞進攻李世賢。二十八日，閩、粵清軍占領永定縣。李世賢擬調軍攻取安溪、長泰、泉州，以斷左軍餉道，徑取福州，但此計劃被高連陞獲悉，以失敗告終。
同治四年（1865）正月二十四日，福建建邵道康國器率部攻占九龍江上、下遊咽喉要地龍岩，切斷了李世賢與汪海洋兩軍的聯絡。二十七日，劉典、王德榜聯軍大破汪海洋於連城新泉，使其精銳喪失過半。二月初四日，又占領南陽鄉，太平軍南走上杭、永定。初七日，劉、王聯軍又在上杭白沙擊敗汪海洋部。
三月初三日，李世賢自漳州分路北進，敗於高連陞、黃少春。還在二月初時，李鴻章奉朝命派淮軍郭鬆林、楊鼎勳兩部共八千人坐輪船由海道援閩，並分別於三月初五日、三月十七日抵廈門。