龍山所戰役以後，倭寇又流竄到台州騷擾。戚繼光聞訊趕到台州，用迅雷不及掩耳的疾速行動，直撲正在台州四郊燒殺擄掠的倭寇，把他們分割包圍，逐個殲滅，又打了一次大勝仗。
兩次戰役雖然都獲得了勝利，但是在戰爭中戚繼光也看出了一些問題，那就是浙江原有的軍隊由於平時缺乏訓練，戰鬥力比較弱，而從外省調入的軍隊雖然戰鬥力較強，但是紀律很差，常常有魚肉百姓的違法亂紀打為。這兩部分軍隊都不能成為抗擊倭寇的主力軍，必須另外訓練一支戰鬥力強紀82律嚴明的隊伍，才能把抗擊倭寇的艱巨任務承擔起來。為此，他向浙江總督胡宗憲提出了訓練新軍的建議。胡宗憲本來覺得多一事不如少一事，不想訓練新軍，可是反過來想，覺得倭寇不斷騷擾，地方上蒙受損失，這是他做總督的責任沒有盡到，容易受朝廷的指責，所以也就同意訓練新軍。於是戚繼光就到金華、義烏一帶去招募身強力壯的礦工和沿海地區熟悉水性的漁民參加軍隊，對他們進行嚴格的訓練。
戚繼光訓練的軍隊號稱戚家軍,分為陸軍和水軍兩部分:陸軍主要練習鴛鴦陣，其具體陣式是每12名士兵編成一隊，隊長在前，後麵分為左右兩行，每行5人，最後一名是管做飯的夥夫。左右兩行人的排列順序是“第一名為藤牌兵，第二名為狼筅兵，第三四名為長槍兵，第五名為大刀兵。藤牌兵的作用是擋住敵人的弓箭和長矛，掩護隊伍前進。狼筅兵所用的狼筅是一根上麵帶有竹枝的毛竹，頂端裝一利刃，可以直刺，也可以橫掃，是進攻用的。長槍兵的任務是挺槍直刺敵人，也負責進攻。大刀兵手執短兵器大刀，在近距離肉搏時砍殺敵人。這樣，整個隊伍就成了一支長短兵器互相配合，防禦性武器與進攻性武器互相配合，進可以攻，退可以守，能分進合擊、機動靈活的隊伍。這鴛鴦陣是戚繼光的創造，是在他熟讀兵書，又根據抗倭戰爭的實際需要而設計的練兵陣容。
水軍的訓練項目有駕駛、泅水及使用各種武器，準備在海上和江河湖泊中跟倭寇作戰。為了水軍的需要，戚繼光命工匠打造各式各樣大大小小的戰船，布置在海岸線上各港灣和江河湖泊之中，做好隨時迎擊倭寇的準備。
為了適應隨時隨地能投入戰鬥的需要，戚繼光規定，軍隊中的夥夫在平日沒有戰爭時埋鍋做飯炒菜，供士兵食用；戰時則隻烙燒餅，燒餅中間有一個洞，可以用繩子穿起來背在身上，乘戰鬥的間隙拿來充饑。這種燒餅叫做光餅，相傳也是戚繼光的一種創造。
在戚繼光訓練軍隊的同時，倭寇也在不斷地尋找機會，想要擴大騷擾的範圍。嘉靖四十年，倭寇聚集了2萬多人，大舉進犯浙江。從奉化到太平（今浙江省溫嶺縣沿海各縣紛紛告急。戚繼光製訂了“擒賊先擒王”的作戰方針，他偵察到倭寇的主力在寧海，便率領戚家軍主力部隊直撲寧海。經過激烈戰鬥，打死了幾名倭寇頭目，剩下的倭寇趕快乘船逃走。另一股倭寇趁寧海戰事正酣之際，偷偷溜到台州城下的花街騷擾，在那裏奸淫擄掠。戚繼光知道消息後，乘寧海戰役勝利的餘威，帶著戚家軍奔襲花街。倭寇沒有料到戚家軍的行動會如此迅速，結果被打得措手不及，不少頭目被擒，有一些倭寇在逃走時失足落水淹死。戚家軍又一次獲得了重大勝利。
緊接著花街戰役，戚繼光率領著戚家軍在浙江沿海各地奔馳。倭寇騷擾到哪裏，戚家軍就打到哪裏，把倭寇一夥一夥地殲滅。在戰爭中，戚繼光了解倭寇的騷擾大都有內線接應，即沿海各地的地痞流氓和不法商人跟倭寇有勾結。他們有的為倭寇傳送情報，有的坐地分贓，行為十分可恥。了解到這個情況後，戚繼光督促地方政府，在倭患嚴重的季節實施戒嚴，清查戶口和來往客商，對有嫌疑的進行監視，發現他們有不軌行動就加以逮捕。又對安分守己的百姓進行教育，要他們組織起來保衛自己的家鄉，遇有可疑的人要及時向官府和軍隊報告，以免壞人乘機搗亂，勾結倭寇。經過這樣一整頓，倭寇失去了內線，行動起來就沒有原先那麼猖獗了。
戚繼光為了擴充隊伍，增強戰鬥力，他又不斷地到金華、義烏去招募士兵。戚家軍從原先的3000人，擴充到了的100人。隊伍擴大了，就有了輪流休整訓練的條件。他常常帶著一部分隊伍四處奔襲，而把另一部分隊伍留在後方進行訓練，增強士兵的作戰能力。這樣一來，戚家軍的素質更加提高了，打起仗來更加所向披靡，戰無不勝了。倭寇被戚繼光和戚家軍的威名所震懾，逐漸地不敢再在浙江沿海施虐，浙江沿海的倭患比以前大大減輕。一部分倭寇開始向南轉移到福建沿海騷擾。
嘉靖四十一年秋天，戚繼光奉命率師南下，到閩北沿海掃蕩倭寇。閩北沿海的地形比較複雜，特別是寧德、霞浦一帶，離海岸線不遠處有許多小島。這些島嶼常被倭寇當作藏身之處。他們平日藏在島上，趁沿海漁民打魚滿載而歸，或者陸地上農村莊稼豐收的季節，就四出打劫騷擾。搶劫得手以後，就把搶來的糧食和財物藏在島上，等船隊到來時運走。
在寧德縣東北約20裏處的海域中有個小島叫做橫嶼，跟大陸隻隔著淺灘，漲潮時，一片汪洋，退潮時，成了泥濘的沙灘，上麵鋪些木板或稻草就能過去。倭寇就利用這樣的地理條件，在橫嶼上安營紮寨，時常到寧德四鄉騷擾。戚繼光帶兵到了寧德以後，察看地形，迅速擬定出了作戰方案。他先派兵占領大陸上正對著橫嶼的張灣，拔除了接應倭寇的據點；又派人運來許多稻草，命令士兵們每個人背著一捆稻草，乘退潮之際，把稻草鋪在淺灘上，匍匐前進。出發前，戚繼光告誡士兵們說：在漲潮之前，必須消滅倭寇，攻克橫嶼，否則，一漲潮，就沒有退路了。士兵們知道這一仗關係重大，如能攻克橫嶼，閩北沿海的倭患就能掃清了。於是他們人人奮勇，個個爭先，很快就登上橫嶼，跟敵人展開白刃戰。倭寇沒有料到戚家軍的士兵能如此不怕犧牲地渡海作戰，嚇得四散奔逃。最先衝到島上的戚家軍士兵，乘倭寇慌亂之時，衝入他們的大本營放起火來。倭寇見自己的大本營被燒，沒有了退路，隻好紛紛放下武器，跪地求饒。這一仗，戚家軍全殲了島上的倭寇，又一次獲得重大勝利。
橫嶼戰役後，戚家軍乘勝又奔襲了盤踞在牛田(今福建省福清縣東南)和興化（今福建省莆田市）的倭寇，把倭寇在福建的三大據點全都連根拔除。
福建的倭寇平定後，戚繼光班師回到浙江，但不久倭寇又侵犯福建，戚繼光又一次奉命拿下，與俞大猷配合作戰，一鼓氣蕩平了倭寇。倭寇殘餘勢力流竄到廣東，戚繼光、俞大猷追趕到廣東。最後終於肅清了倭寇的殘餘勢力。
愛國英雄戚繼光，以其堅強的毅力，經過十多年風裏來雨裏去的艱苦作戰，掃平了東南沿海的倭寇，使那裏的人民得以安居樂業。直到今天，東南沿海各地還流傳著許多戚繼光平倭寇的故事，人們以崇敬的心情懷念這位愛國英雄。許多地方還為他修建了祠堂，供奉著他的塑像或畫像。