聽到楊博反對自己率軍遠征倭國，戚繼光心中對他如此不念舊情已是十分惱怒，但是楊博提出的前兩條反對意見都是實情，讓他無從辯駁，直至聽到這第三條，立刻抓住了話柄，亢聲說道：“楊少司馬（注：兵部尚書別稱大司馬，侍郎別稱少司馬。）總長大人的話，末將萬難苟同！早在嘉靖二十一年，朝廷複設營團軍，末將就曾任俞將軍副職，而今複歸俞將軍帳下聽命，有何不可？再者說來，末將身為大明軍人，世受國恩，但凡能為家國社稷效力，莫說是做俞將軍副手，便是專任軍、師，乃至團、營之長，亦無所怨，又怎會銜冤生恨？！”
國朝厲行“以文統武”之祖製；加之楊博又是兵部堂官、明軍總參謀長，戚繼光當著皇上的麵公然反駁楊博，言辭還是如此激烈，無疑是犯了朝廷的一大忌諱。高拱和張居正都替他擔心起來，卻苦於剛剛受到皇上那句“玩笑”的隱晦敲打，既不好幫腔說話，又不好出麵打圓場。隻有嚴世蕃無所顧忌，又存者向戚繼光賣好、以便日後將其收攬到嚴家門下的私心，就插話進來，笑道：“下官也認為少司馬多慮了。天下之人，誰不知道戚將軍自幼便許下‘封侯非我意，但願海波平’的淩雲壯誌？如此公忠體國、不計名位，誠為國朝食君祿者之典範……”
起初聽到楊博擺出的三條反對理由，朱厚熜也覺得前兩條勉強還能說得過去，第三條實在是有些牽強附會。但是，此刻聽到嚴世蕃開口替戚繼光說話，不禁使他聯想到剛剛接到鎮撫司的仿單密報嚴世蕃設宴款待戚繼光和徐渭之事，心裏立刻警覺了起來，轉頭麵向戚繼光，沉下臉來說道：“元敬！議事就是議事，不要置氣！你可以不計名位得失，可楊惟約身為兵部堂官，又怎能不周全考慮？當年朝廷複設營團軍，你確曾做過俞誌輔的副手，但如今情勢與當年已大不相同--你剛剛率軍遠征南洋、平定夷亂，可謂有大功於國家，設若朝廷突然將你降職改任軍長、師長，朝野內外豈不是要議論紛紛？遠征軍眾將士更會認定朝廷還有朕這個君父處事不公、擢黜失當，定然為之寒心，更大損士氣，這可不是社稷之福！再者說來，楊惟約所慮之事，正是朕所擔心的，否則就不會先讓嚴東樓向你們通報他與西班牙人談判之詳情。對外用兵，關係重大，一定要通盤考慮，稍有疏忽，便會誤國誤軍。到時候，就算誅了你戚繼光的九族，又豈能償贖喪師辱國之大罪！”
皇上把話說的這麼重，又在不經意間流露出了凜然天威，令戚繼光頗為羞愧，低下頭去，說道：“皇上責的是！微臣慮事欠周全，又一時急切，口不擇言，還請皇上及楊少司馬總長大人恕罪！”
朱厚熜緩和了語氣，轉向楊博，說道：“惟約啊，你方才所說的三點理由都很有道理，朕也認可。不過，你昔日曾與元敬搭檔，想必知道他自幼便立誌要為國剿平倭寇，以報我大明所受百年倭患之恥。朕可否替他討個情，讓他有機會了卻這一夙願？”
皇上先是嚴厲地嗬斥了戚繼光，隨即卻又幫他說話，讓楊博更加確信聖意已決。不過，他方才已經明確表態不讚同此議，也不好立即改口，就婉轉地說道：“回皇上，擢黜之恩皆出於君上，臣等本不敢隨意置喙。不過，東海艦隊征戰多年，亟待休整；南洋那邊還需防備西班牙夷人作亂，不宜調其北上伐倭……”
嚴世蕃突然插話進來，說道：“論說調動兵馬、命將出征都是兵部部務，下官不好隨意置喙。不過，少司馬或許沒有聽明白皇上的意思。皇上隻說是要成全戚將軍平倭之夙願，卻並未指明讓他統率東海艦隊北上伐倭。是故下官以為，可依少司馬前議，仍從禁軍抽調一個軍增援中朝聯軍，戚將軍改任聯軍副司令兼該軍軍長，如此便能兩相兼顧了。”
原來，對於皇上有意要讓戚繼光遠征倭國的心意，嚴世蕃也看得清清楚楚，他這麼說一是出於逢迎皇上的本能反應；二因拉攏戚繼光的心情過於迫切；三來也是為了給楊博一個下台的台階--楊博雖然與他們嚴家並無關係，卻與徐階同為前任內閣首輔翟鑾的門生，也算是原先的翟黨、如今的徐黨要員，在眼下嚴紹庭娶了徐階的孫女、嚴徐二黨已隱隱有聯手之勢的情況下，他不想讓這個固執己見的書呆子觸怒了皇上，白白折損徐黨一位位高權重的得力幹將！
誰知道，楊博卻毫不領情，冷冷地說：“少宗伯（注：禮部尚書別稱大宗伯，侍郎別稱少宗伯）之議確有道理，然則下官擔心，臨陣易將，犯了軍中大忌。”