百姓中有身強力壯者，也各種借口和逃避，千方百計的希望能夠四處運作下，免了商役。甚至，還有全家逃避到外郡者。
久之，京城和直隸之地，富戶漸稀，後連累中戶，再複及中下戶，是由市巷蕭條，即有千金之產，亦惴惴惶懼。
於是給事中魏元吉上疏，極言鋪商困乏，請以太倉銀給補未發商價。
嘉靖三十七年三月二十七日，世宗以魏元吉所言甚是，詔恤京師鋪商。
然而，由於邊餉急需，太倉銀常常難以供應，故雖有存恤之詔，而商困如故。
大明局勢稍稍平穩，雙方之爭再次白熱化。
此次楊林先下手了……
嘉靖三十七年三月二十八日，刑科給事中吳時來在楊林的暗中授意下，再次疏劾嚴嵩貪財納賄。
他說：“嚴嵩執政二十年，文武官升遷去留，悉出其手。又暗中令其子嚴世蕃出入禁所，批答章奏，招權示威，指使公卿，奴視將帥，貪汙受賄，財貨山積，猶無厭足。用人唯親，每行一事，推一官，必先報告嚴世蕃而後奏。陛下但知議出部臣，豈知此皆嚴嵩父子私意！許多正直廷臣無不怨恨嚴嵩。臣以為除惡務本，今邊事不振由於軍困，軍困由於官邪，官邪由於嚴嵩父子好貨。若不速去嚴嵩父子，邊事不可挽救。”
同一日，刑部主事張翀、董傳策也在楊林的暗示下，分別上疏劾嚴嵩。
張翀說：“自嚴嵩當政以來，國家錢糧給邊者十之四，賄嚴嵩者十之六。嚴嵩之富有早已超過數十萬，嚴嵩家之富可知。”
董傳策說：“嚴嵩恬不知戒，居位一日，天下受一日之害。他壞邊事，賣官爵，耗國用，用罪人，擾驛傳，害人才，必須立即清除。”
吳時來三人上疏之後，嚴嵩懷疑除階是幕後主使者，密奏嘉靖帝。
嘉靖帝懷疑徐階和陸炳、楊林一方私下有勾結，信嚴嵩所言，立將吳時來三人下獄，追究主謀者。掌握了詔獄權利的朱六，在審訊的時候，希望將苗頭引向楊林一方。
但是吳時來三人至死不承認，都說是太祖高皇帝教導他們的。
嘉靖帝無奈，卻還是怒宣詔，將吳時來三人俱發邊遠煙癉衛所充軍。
吳時來作為楊林的得力幹將，就此倒台。
而這之後，嚴嵩疏請致仕。
嘉靖帝雖慰留之，但是想到嚴嵩手下的嚴黨眾人，一直是楊林攻擊的缺口，竟是成了自己一方的弱點，心中自是已稍厭嚴嵩。
嘉靖三十七年四月初九日，兵部奉旨進裁省驛遞事宜：“國初，以驛遞宣傳王命，飛報軍情。時至今日，成法盡更，糜費十倍，既有站紅船，又增設官民座船；既有額定馬驢，又增設幫馬；既有正差應付，又有借冒關牌，分外逼索。依《會典》事例，應盡毀官民座船，以其費入官。其旱驛馬驢，除兩京會同館外，每驛減十之三，非要衝之地減十之五。所過官承，必須正差勘合，勘定職名、地方、夫馬之數，方許應付。其他一切分關、倒關、借關、改關及額外鋪陳、饋送、折乾等弊，在內聽科部、在外聽撫按官參革，並以地方所省錢糧之半，解部輸邊。”