兩次龍山所戰鬥，戚繼光感慨萬千。仗是打勝了，但打得很艱難，很不順手。士兵一遇強敵，就丟甲而逃，暴露了明軍的致命弱點，缺乏臨陣訓練，遇敵畏懼，將領統兵無立，節製不嚴。依靠這樣的軍隊，是不能徹底消滅倭寇。為此，戚繼光常常徹夜不眠，思慮著解決的途徑。他打算訓練浙江兵，不過，當時一般人都認為，北方人剛強，南方人柔弱，特別是生活在被稱為“金粉山川”的江南人是練不出精兵來的。戚繼光不相信，他認為：江南人和北方人生活習性有差別，但兵是靠練的。一件事對他啟發很大，盛產綢緞的浙江，很多能工巧匠把一堆堆生絲繅成熟絲，織成十分精美的絲綢緞錦，靠的就是“練”。如果將領像繅絲工那樣苦練，就會把有知覺的士兵練成勁旅。
一天，戚繼光把自己的想法告訴了同僚們。他說：“在座的都是朝廷命官，都想早日消滅倭寇，報答國家和百姓的養育之恩。可是，現在與倭寇作戰，往往失利，原因就是缺乏訓練。要戰勝敵人，隻有加強練兵，才是上策。”
哪知同僚們聽了戚繼光這番話，竟然搖頭歎息，“難啊！浙江倭患嚴重，積弊已久，多少任總督、巡撫大人都未解決，我們這些參將、把總也想改變麵貌，豈不是異想天開。”
好心的把總盧錡說：“戚將軍效國之心，令人敬佩。可是浙江的兵練不得啊。王忬總督提出過練兵，結果調離浙江；張經總督和李天寵巡撫也提出過練兵，下場更悲，連腦袋都未保住。”個別自恃有靠山，隻是混皇糧吃的不肖子孫，竟然諷嘲戚繼光：“唉，官癮不小啊，還想超過巡撫、總督？如果倭寇那麼好消滅，還要我們幹啥？”
戚繼光聽了如此荒唐之言，怒不可遏，嚴詞駁斥說：“身為將官，縱敵養奸，豈不成罪人。”這次商討練兵不歡而散。但戚繼光卻沒有泄氣，而促使他進一步考慮問題，爭取上司的支持。
嘉靖三十五年十一月十五日，戚繼光將自己深思熟慮的練兵主張寫成公文，呈送胡宗憲、阮鶚。
胡宗憲拆開一閱：“士兵身無甲胄，赤體迎敵；士心不附，軍令不知；望賊奔潰，聞風破膽；戰無號令，圍無營壘；卒鮮經練，兵無節製……”“啪”地一聲猛擊桌麵：“小小的參將，太放肆了。”
“總督何以大怒？”阮鶚剛巧趕到。胡宗憲拿著戚繼光上送的奏文，氣得兩手發抖，臉麵鐵青，說：“你先看看。”
阮鶚，安徽桐城人，以附趙文華和胡完憲得誌，越級提升為右僉都禦史，接替胡宗憲任浙江巡撫。阮鶚剛接過奏文一看，“兵將暌違，虛聲冗眾……”就再也不想念下去，火上加油地說：“戚繼光乳臭未幹，竟不知天高地厚。按他這麼說，我們當總督、巡撫的該讓位了。”
其實，戚繼光的建策，正擊中了明軍的時弊，提出了切實可行的解決措施，遺憾的是總督、巡撫唯恐觸痛自己，未閱完就把它打入冷宮，成為一紙空文。
練兵心切的戚繼光，第二年春天再次呈請練兵，言辭更為激烈：“兵無節製，卒鮮經練，士心不附，軍今不知”，靠這樣的部隊是不能打勝仗的，更談不上徹底消滅倭寇。戚繼光以充分的信心向胡總督、阮巡撫表示，隻要準許他挑選3000名浙江精兵，親自組織訓練，三年之內保證練成勁旅。
氣還未消的胡宗憲又接到戚繼光的奏文，不屑一顧地說：“自吹自擂，浙江兵可練，我還不會練嗎？還等到你戚繼光提出來。”
過了一會，胡宗憲醒悟過來了。他怕這事傳出去，朝廷知道是由於他的阻擋，戚繼光練不成兵，浙江的倭寇消滅不了，追查罪責，自己難逃，於是，胡宗憲采取“陽準陰施”的兩麵手法，在奏文上批道：“可以試練，請巡撫定。”阮鶚也是一位處事圓滑、見風使舵的官場老手，他一看總督批文，順水推舟地寫道：“讚同總督高見。”練兵的事就這樣定下來了。
戚繼光得知建策被督撫大人恩準，以為馬上可以實施了。可是，官場陋習很深，一拖再拖。在戚繼光的多次催促下，胡宗憲不得已才將兵備僉事曹天佑部3000兵交給戚繼光訓練。
戚繼光這下總算實現了練兵心願。他按照多年治軍練兵的經驗，狠抓紀律養成訓練，特別注重抓士兵膽氣、體魄、技術和戰術訓練。