十九日，浙閩軍棄甌海渡永嘉江北撤加強永嘉的城防，淮東軍部將張季恒率部隨即收複甌海。二十二日，清除永嘉江下遊障礙清除幹淨，靖海水營近百艘戰船進入永嘉江水道。
永嘉城位於楠溪江下遊河穀之中，兩側皆崇山峻嶺，特別是永嘉與樂清之間的北雁蕩山，萬山重疊，群峰爭雄，懸嶂蔽日，路絕徑斷，大股兵馬絕難通行。浙閩軍依永嘉城、上塘等城固守，隻要北麵的仙居、臨海等城不失，就不虞後路給斷。
世人揣測淮東軍會先一步收複甌海南麵的橫陽、平陽、蒼南等縣進逼閩北之時，靖海水營卻利用兩天時間就在楠溪江彙入永嘉江的河汊口搭設兩座棧橋，大股兵馬分從永嘉江南岸的甌海渡江以及從烏山尖沿永嘉江北岸地進逼。
永嘉城就地勢來看，雖說不怕後路給斷，但築在楠溪江下遊河穀之中，從河汊口進入，沿楠溪江兩岸是縱深二十餘裏、寬四五到七八裏不等的淺闊河穀平原，足以供淮東軍大股兵馬展開從正麵進逼。
奢飛虎擊敗葉肅所部奪回永嘉城裏，對滿城軍民進行殘酷的屠殺，周遭民眾從此避永嘉城而走；除少數給脅裹進城為人質的鄉兵將領家小及少數追隨奢家的地方勢力外，永嘉守軍到三月下旬，加上從甌海等城撤出以及從仙居、東陽等地趕來馳援的兵馬，僅八千餘人，並無多少民夫能脅裹來協助守城。
淮東軍方向，除新浙南軍調整擴編到二十營以及崇城步營在樂清保持十五營精銳兵力不變外，到三月下旬，林縛又從明州、夷洲調陳魁立、毛騰遠、韓采芝所部、從崇州調耿泉山所部走海路從樂清登岸，加上靖海第二水營主力以及第一水營一部，淮東軍在永嘉江口南北兩岸，集結的兵力將近四萬人，還從地方征募民夫萬餘人。
除溫嶠、梧埏、樂清、甌海等地守禦兵力以及水營控製外海及永嘉江水道外，三月二十五日沿楠溪江兩岸進入永嘉縣境內的兵馬，包括唐複觀、陳定邦、左光英所部新浙南軍主力、陳魁立、毛騰遠所率浙東行營軍主力、張季恒、劉振之所率崇城步營一部二萬四千餘戰卒及萬餘民夫。
即使無法翻越崇山峻嶺，切斷永嘉城的後路，林縛還是授權周同，於三月二十八日從永嘉城南麵發動攻城戰。
永嘉城位於楠溪江的西岸河穀，東岸是上塘寨，地勢更為險峻。永嘉城與上塘寨之間用棧橋相接，棧橋下方自然也是用沉船、暗樁各種障礙物封鎖。
針鋒相對的，淮東軍進入永嘉縣境內的大軍，正對著永嘉城、上塘寨築兩座營壘，輪番不休的對永嘉、上塘發動強攻。
永嘉縣城曾給海盜攻破過，就陷入沒落，永嘉府府治曾一度被迫移至甌海；去年三月永嘉城給奢飛虎率部攻入時，破壞程度就變得更加的嚴重。
之後浙南都督府的資源多給抽到東陽縣，在淮東軍駐落鶴山防寨的正麵構築防線。一直到浙南形勢危急、秦子檀代表奢飛虎到永嘉督戰之後，才抽出人手加強永嘉、上塘的防禦。
秦子檀重回浙南後，永嘉及上塘城防的一些不足都得到有效的加強，但終究城池低矮，無法全麵的包覆磚木，永嘉還遠遠稱不上一座固若金湯的雄城，最能依仗的無過是永嘉八千餘守軍，十之八九都是忠於奢家的八閩戰卒。
永嘉攻城戰從三月二十八日正式展開，一直持續到四月十八日。在二十日的時間裏，包括淮東軍持續不斷的組織攻城、偷襲以及永嘉守軍組織出城反攻、偷襲，發生大小戰鬥不下百餘場，各自使盡手段，都不能攻陷城池或擊退來敵，戰事陷入殘酷的拉鋸戰之中。
城頭的血跡黑紫刺目，敵我雙方也不曉得在城頭流下多少鮮血，都已經將城頭磚道的縫隙都溢滿了。殘箭斷戟以及脫落的甲片都給撿起來重新熔鑄刀兵箭矢，斷裂的箭杆、槍矛杆，隨地都是。到處都是崩壞的垛口以及給火燒灼的痕跡——相比較城頭的頹殘，那些個挨著垛牆背側休息的傷兵殘卒更叫人觸目驚心……