部隊算鎮住了。戚繼光又開始第二個目標，刷新衛所。當時，戚繼光統領的登州、文登、即墨三營共轄11個衛和14個千戶所，按編製每衛5600人，千戶所1120人。按這樣的編製員額計算，戚繼光統領的部隊應有七八萬人，但實際上遠遠沒有這個數字，有的衛隻有幾百人、上千人，而且多數為老弱病殘者，軍伍不振，戰守無方；海防設施，年久失修，凋敝不堪；武器裝備殘缺不全，衛所戰船嚴重缺額。這樣的局麵，怎能抵擋得住凶惡的倭寇呢？怎能守得住幾千裏的海防呢？
戚繼光是個勇於開拓，善於創新，有所作為的軍事將領，采取上下結合的辦法整治海防。他親自向朝廷、向上司建策，請求補充兵員。親自率領衛所官兵整修海防設施，構築海防工事，修補、督造戰船，改進武器裝備。在短短幾個月的時間內，衛所麵貌發生了變化。兵員基本滿額，裝備基本齊全，沿海工事有所改善。這對長期鬆垮、兵無節製、號令不嚴的山東沿海官兵是個巨大鼓舞。戚繼光利用這個有利時機，經常深入衛所，督導訓練。戚繼光的大本營設在登州水城（位於今蓬萊閣），後因備倭立帥府於此，又稱“備倭城”。
在訓練山東備倭將士時，戚繼光花費很多心血整修水城，使水城外有水門、防波堤、平浪台、碼頭、燈樓，內有城牆、敵台（炮樓）、水閘、護城河，構成一個嚴密的海上軍事防禦體係，成為當時駐紮水師，停泊艦船，操練水師，出哨巡邏的軍事基地。戚繼光把這個基地作為訓練中心，數年間培養了大批水師骨幹。
400年後的今天，備倭城仍然氣勢磅礴，巍巍壯觀。
戚繼光在山東沿海備倭2年，將一個海防廢弛，衛所凋敝的營伍，整頓成為軍紀嚴明，訓練有素，戰守有方，官兵團結的堅固海防。倭寇望而生畏，不敢竄犯，足證一位良將的卓越軍事才華。
在成績麵前，戚繼光並不滿足，更沒有放鬆對倭寇的警惕。他深知自己所走過的路程，隻是報效國家，建功立業的起點，應該更加奮發，為消滅倭寇，血灑疆場建大功、立大勳。一次，他在視察文登營時，遠眺廣闊無邊的海洋，遙望3000裏外的扶桑（舊時指日本），寫下了著名詩句“遙知夷島浮天際，未敢忘危負年華”，表達了他對倭寇常備不懈的警惕心境。