第二天，各部越過城北，攻打臨清堰。太平軍將領汪海洋背水抵抗。楚軍深入，遭遇埋伏，副將餘佩玉陣亡，跟隨他的士卒陣亡三百人。這時候，安徽南部的太平軍古隆賢部投降，獻出石埭、太平和旌德。湘軍駐守東壩，接連攻克建平、高淳和溧水。天京太平軍將李秀成召回，商議對策。李秀成提出放棄天京，但洪秀全不允。
當月，海寧太平軍將領蔡元隆見杭州與嘉興遭到逼攻，便向湘軍投降。蔣益澧請求以廖安之任海寧知府，前往探察，自己率領輕兵，駐紮隔江的小泗渡。廖安之抵達海寧後，蔡元隆便渡江，將武器和人眾造冊獻出，於是湘軍進占海寧州。
左宗棠將蔡元隆改名為\"蔡元吉\"，留下他手下的四千人，令他率領進攻桐鄉，又派張景渠、葉炳忠駐防海寧。蔡元吉率部乘夜襲擊桐鄉，攀梯登城。太平軍驚覺，在城堞上抵抗，擊傷蔡元吉部一百多人。蔡元吉部隻得暫時在城西南駐紮。蔣益澧派李邦達部會同張景渠部駐紮城東南。守軍何培章部獻城投降。楚軍進占桐鄉，令何培章率所部三千人駐守烏鎮，控扼杭州通向嘉興的孔道。
湖州的太平軍分出一部分兵力去援救嘉興，但被烏鎮的楚軍擋住了去路，便與杭州的太平軍聯合攻擊烏鎮駐防的楚軍，從烏鎮到雙橋，雙方連營幾十裏。楚軍高連升部趁著杭州太平軍出擊之時，奪取了望江門的三座壁壘。蔡元吉則率部回援烏鎮，身先士卒，陷入陣中。他被槍擊傷左手，輕傷不下火線，裹創力戰，力戰攻破十座壁壘。太平軍被迫撤退駐紮在高橋。
就在雙方激戰的當天，淮軍和楚軍開始聯手圍攻嘉興城。第二天，大軍開炮轟垮了幾十丈的城牆，淮軍將領程學啟率先登城，雖然他中槍負傷，但仍然奮力揮師攻城，從而攻破嘉興。
在連連失利麵前，太平軍軍心不穩。守衛杭州的太平軍將領陳炳文，見形勢日益不利，決定派人參見李鴻章約定近期投降。不久，情況有變，城內的太平軍殺掉了內應。左宗棠得到密報後，一方麵假意同意陳炳文投降，一方麵又督促蔣益澧部迅速攻城，務必盡快拿下杭州。
楚軍水路兩路攻破杭州城外的四座壁壘，然後分兵攻打五座城門，另外還派兵牽製在十裏街駐紮的太平軍一部。城內城外的太平軍不甘心坐以待斃，雙方一直鏖戰到下午天降大雨。雨停之後，左宗棠繼續出兵大戰，重創太平軍。
蔣益澧料想太平軍兵勢已困，便收兵回營，而沿城設下伏兵，以待時機。夜半，城內人聲鼎沸。楚軍各部急起攻城。太平軍打開北門逃遁，楚軍爭門而入，一通砍殺，死傷者填滿溝塹。
4月1日，楚軍終於占領杭州，收複了浙江省城。餘杭的太平軍汪海洋部在這天也棄城而出，與從杭州撤退的部隊會合，一起撤往瓶窯。左宗棠親自率領親軍追趕，太平軍殊死抵抗，撤入安溪軍營。楚軍乘勝進軍，太平軍不支，分別撤向德清和武康。
於是，左宗棠令楊昌濬督率親軍攻打武康，派蔣益澧部攻打德清，蔡元吉部攻打石門。與此同時，李鴻章的淮軍攻克宜興與溧陽，太平軍李世賢部從寧國撤到了湖州。
4月7日，左宗棠領兵進駐浙江省城杭州。杭州城內先前有八十一萬居民，但是經過連年兵亂，楚軍進入之時，隻剩下寥寥七八萬人。左宗棠抵達這裏時，便下令開設賑撫局，收養難民，招商開市，禁止軍士進入民居。接著，他又上奏清朝廷免除全省本年額賦，並且籌資收購茶、筍、廢鐵，修浚河道，開設書局，刊刻經籍。很快，杭州人心就在他的種種惠民措施下，安定下來。