後勤問題因為有胡雪岩幫助，得到了妥善解決，緊接著左宗棠便率部進攻遂安。當天晚上，楚軍在城外二十裏處紮營，兵分幾路攻打楊村。左宗棠先派出一支部隊從北路佯攻縣城，黎明時分，楚軍抵達楊村外，依山傍水而進。
太平軍搖旗呐喊，沿岸抵抗楚軍的仰攻。張聲恒和劉璈部首先渡到水西迎擊，黃少春和朱明亮部橫向攔截，陶鴻勳與丁長勝兩軍越過山嶺，從太平軍背後出兵，三麵合擊，將太平軍壓縮到包圍圈內。太平軍大敗，損失上萬人。城內太平軍聞訊，全部撤走。楚軍順利進占遂安。
在此前後，浙江戰場出現了清政府與外國侵略者聯合絞殺太平軍的局勢，使太平軍處於不利的地位。英、法在第二次鴉片戰爭結束後，轉而支持清政府鎮壓太平天國。英、法侵略軍悍然向寧波的太平軍發動進攻，占據寧波。
接著，英國侵略者刁樂德克仿照美國人華爾組織的常勝軍，原名洋槍隊，在寧波募集軍士一千人，以英人為教練，組成常安軍和定勝軍。寧波海關稅務司法人日意格與法海軍軍官勒伯勒東招募華勇一千人，後增至三千人，由法國軍官任教練，名為常捷軍。
法國公使還照會清政府，已讓勒伯勒東免去法國水師參將軍職，專任中國軍職，署理浙江總兵，聽浙江巡撫及寧波道節製。清廷竟發布上諭聲稱\"即應由該省巡撫給付劄憑，以一事權\"。
七八月間，英、法侵略者又協助清軍攻占慈溪、餘姚、奉化等地。英國駐寧波領事夏福禮說：\"無疑地，攻克餘姚，將使寧波的形勢趨於完全穩定，將來克複紹興，更會促進寧波的繁榮\"。這樣，清王朝依靠著常安軍和常捷軍的大炮轟開了太平軍占領著的城池的大門。
左宗棠不願理會洋人，親率本部大舉進攻衢州北路，一天之內攻破太平軍三十座壁壘。衢州城東南的太平軍全部棄軍營撤走。楚軍解了衢州之圍後，左宗棠決心在金華與李世賢決戰，想於此殲滅太平軍主力，為克複全浙打下基礎。從此，左宗棠結束了在衢州一帶徘徊半年的局麵，把進取金華作為戰略重點，展開了金華一線的會戰。
9月，太平軍向圭塘壁壘發起攻擊，被劉培元部擊退。第二天，李世賢派出五千兵力，從蘭溪和湯溪趕來增援。左宗棠親自督率各部奮戰兩個多小時，才將太平軍擊退。楚軍發起追擊，斬殺一千餘人。
到了10月，高連升部攻克壽昌，李世賢集結兵力防守太平裘家堰軍營。楚軍合力進攻，攻破四座堅壘。太平軍駐紮南岸，兵力仍然強盛。蔣益澧部渡河攻擊，太平軍分別據守羅埠與湖鎮。楚軍剛進羅埠，太平軍將領李世祥派人來約投降。楚軍與他裏應外合，立刻攻破了五座壁壘，湖鎮的太平軍被迫撤走。
隨後，左宗棠率部逼近龍遊城。他令蔣益澧全軍從羅埠攻打湯溪，令劉典部移駐湖鎮，阻擊太平軍援兵。蔣益澧部奉命進攻，太平軍見湘軍進逼兩城，便向金華求援。蔣益澧部再攻蘭溪，獲勝。左宗棠奪得了龍遊城東的塔嶺，修築壁壘。他分兵攻擊城壘，將火彈拋入壘中。太平軍大亂，楚軍攻破了一座軍營，殲滅其中的太平軍，俘獲大量旗幟和軍械。
太平軍集中兵力保護其他軍營，楚軍力戰肉搏，七百人負傷，被迫收兵。從此太平軍伏在營中，不出兵作戰。不久，楚軍抓到俘虜，說李世賢將各支部隊全部調到金華駐守，他自己則從桐廬返回溧陽。於是，左宗棠令魏喻義部從遂安移駐淳安銅關，以攻取嚴州。