戚繼光在義烏招募了近4000人，編立隊伍，分發武器，進行嚴格的訓練。稍後，戚繼光針對沿海地形多沼澤、倭寇小股分散的特點，創立攻防兼宜的“鴛鴦陣”。
從此，這支軍隊轉戰各地，取得了輝煌的戰績，人稱“戚家軍”。
1561年四五月間，倭寇大舉進犯浙江，船隻達數百艘，人數達一兩萬，騷擾地區達幾十處，聲勢震動遠近。
戚繼光確立“大創盡殲”的原則，在花街、上峰嶺、藤嶺、長沙等地大敗倭寇，先後13戰13捷，共擒斬倭寇1400多人，焚、溺死4000多人，使侵犯台州的倭寇遭到毀滅性的打擊。
由於台州大捷，戚繼光被提升為都指揮使，“戚家軍”也聞名天下。
1562年，戚繼光受命入閩剿倭。在此之前，倭寇由於在浙江受到沉重的打擊，在福建的活動更加猖獗，一支築巢於寧德城外海中的橫嶼，另一支築巢於福清的牛田，形勢非常危急。
橫嶼是寧德縣東北的一個小島，離岸約有5千米，和大陸之間隔著淺灘。漲潮時，海水將島嶼與大陸分開；潮退後，又盡是泥淖。倭寇在島上紮下大營，修築防禦工事，侵占已達3年之久。
戚繼光為了渡過淺灘，命令士兵鋪上幹草，隨著鼓聲向前爬行。到達橫嶼岸邊時，倭寇早已布成陣勢，士兵們奮勇衝殺，放火焚燒倭巢，倭寇四處逃竄，明軍乘勝追擊，消滅倭寇400多人。殘餘倭寇向海上逃命，被淹死600多人。
戰鬥從開始到結束，不過3個時辰。隨後，戚繼光進軍牛田、林墩，鏟除了福建的三大倭巢。鏟平福建三大倭寇後，戚繼光回浙江補充兵員，倭寇又猖獗起來。
1562年冬，倭寇6000人攻陷興化府城，燒殺搶劫，無惡不作。次年2月，倭寇退出府城，據莆田東南的平海衛為巢。
1563年4月，戚繼光率領1萬多人到達福建。5月，福建巡撫譚綸命戚家軍為中路，劉顯為左翼，俞大猷為右翼，向平海衛發動總攻勢。
倭寇倉皇應戰，戚家軍用火器猛烈射擊，倭寇戰馬受驚，亂跑亂竄，左右兩翼乘勢並進，倭寇大敗，逃回許家大巢。
明軍進圍敵巢，四麵放火，倭寇2000多人或被燒死，或被殺死，逃竄者也多墜崖和蹈海而死。
平海衛之戰不久，又有大批倭寇陸續登陸。
1563年11月，倭寇約2萬人圍攻仙遊，城內居民晝夜死守，雙方傷亡都很嚴重。譚綸和戚繼光統兵來救，駐紮於仙遊城外6000米處，這時戚繼光的部下隻有6000人，敵我力量相差懸殊，不宜立即決戰。
1564年1月，戚繼光將換防軍隊進行周密部署，分道向仙遊進軍。當時倭寇結為四巢，分別盤踞於東、南、西、北四門，中路軍直衝倭寇南巢，其他各路配合作戰，倭寇丟盔棄甲，全線崩潰，仙遊之圍得以解除。戚繼光這次以寡敵眾，大獲全勝，體現了卓越的軍事才能。
東南沿海的倭患基本平息，但北邊仍然存在韃靼的威脅。為了加強北邊的防務，朝廷決定調戚繼光訓練邊兵。1567年12月，戚繼光奉命北上，被指定負責薊州防務。
戚繼光將全部防區劃分為12路，上麵設東、西協守，分管東西各路軍隊。他雖然全權負責薊州一線的防務，但練兵主張卻得不到朝廷的積極支持，於是將精力主要用到了防禦工事上。
他將舊城牆加高加厚，並修築了大量空心敵台。敵台修成後，戚繼光又設立車營，創立各兵種協同作戰的戰術。
在此期間，因北方士兵紀律散漫，苟且偷安，戚繼光請求調浙兵北上，得到朝廷同意，最後調來兵勇2萬人，成為守邊的主力。戚繼光還根據北方的地理條件，實施了車、騎、步三軍配合作戰的方略。
在薊州修築敵台，建立車營，分別配備重車、輕車、步兵、騎兵、火炮等。通過戚繼光的艱苦努力，北邊防務有了很大的改觀。
戚繼光從東南抗倭到北鎮薊州，上司譚綸及執政大臣張居正等人，對他的工作都比較支持。尤其是張居正，常把那些作對的官員調開，甚至免除職務，所以戚繼光能久鎮北邊，發揮所長。張居正病死後，反對派群起攻擊，戚繼光也受到牽連。
1583年，戚繼光被調往廣東，兩年後被朝廷罷免官職，回到家鄉登州。1588年1月5日，戚繼光突然發病，與世長辭。
戚繼光在抗倭作戰中，創立攻守兼備的鴛鴦陣，靈活巧妙地打擊倭寇。鎮守薊州，修城築堡，分路設防，有力地抵禦蒙古騎兵。所撰《紀效新書》、《練兵實紀》為明代著名兵書，受到兵家重視。