隆慶二年（公元1568年）夏天，海瑞以右僉都禦史身份巡撫應天的十府，下屬官吏害怕他的威嚴，有劣跡的人大都自動免職。有勢力的人家用朱丹漆門，聽說海瑞來了，又漆成黑色。監理紡織營造的人，被減去眾多隨從。海瑞銳意革故鼎新，奏請疏浚吳淞、白茆，讓河水暢流入海，百姓因此受益。他一貫痛恨大戶兼並土地，極力折損豪強，安撫貧窮羸弱。貧民的田地被富戶兼並，一概替他們奪回，徐階罷免相位居住鄉裏，海瑞一樣查問其家裏的情況而不寬免。他的命令雷霆萬鈞，有司惶恐奉行，有勢力的豪強為了躲避，逃往其他郡。奸民往往乘機告發，所以大姓人家時常有遭誣告蒙冤屈的。他又裁減郵傳冗費，士大夫離開了該地一律不提供飲食，因此怨言很多。給事中舒化批評海瑞迂腐不通曉政體，應該把他置於南京的清閑之地，穆宗仍然優待海瑞下詔獎勵。不久給事中戴鳳翔彈劾海瑞庇護奸民，魚肉官吏，沽名釣譽擾亂政事，於是調他督職南京糧儲。海瑞撫慰吳地剛半年，百姓聽說他將離去，哭聲載道，繪像在家中祭祀。
備棺上書，浩氣長存
海瑞身處在明朝朝綱廢弛，社會不穩之時，作為一個正直有氣魄的官僚，憂國憂民之心時時困擾在他的心頭，時刻在尋找振興國家的良方，他將矛頭直指皇帝，痛陳皇帝的失政，言辭尖銳、毫不隱諱。他麵對官員腐敗，歸咎於對貪官刑罰輕了，批駁“待士有禮”的托詞，提倡太祖時的酷刑。透過這些似乎帶有偏激色彩的言論，我們看到的是海瑞那一顆時刻為國為民憂慮的心。海瑞作為一個名播千古的清官，永遠值得後人懷念。
當時世宗在位已久，不理朝政，深居西苑，專心致意於齋戒。督撫大吏爭相呈獻吉祥符瑞，禮官動輒上表祝賀。朝廷大臣自從楊最、楊爵被治罪以後，沒有敢非議當時政務的。嘉靖四十五年（1566年）二月，海瑞單獨上書。
其中，一針見血地指出：陛下相信方士的話，連皇子裕王、景王也不得相見，這是沒有父子情義；以猜疑誹謗殺害和羞辱臣下，是沒有君臣情義；安樂在西苑而不返回皇宮，是沒有夫婦情義。還強調說：“天下之人，不敢直言陛下已經很久了。古代人君有過失，依靠群臣百官進言補救，而陛下隻知道燒香行禮，根本不聽百官的諫言，這是大錯而特錯的。目前，沒有一個人願為陛下說句真心話。奉承諂媚也太過分了！不過，這些人內心慚愧空虛，雖然當前順從，背後也有議論，這多麼近似欺君之罪！”他奉勸嘉靖翻然悔悟，趕快上殿視朝，盡快洗刷多年積累的錯誤。
在奏文中，尖銳批評世宗“三意玄修”、“侈興土木”、“二十餘年不理朝政”使“天下吏貪將弱，民不聊生，水旱靡時，盜賊滋熾”。奏文言辭激烈。
世宗接到奏章，非常惱怒，扔到地上，環視左右的人喊：“趕快抓住他，不要讓他逃跑了。”宦官黃錦在旁邊說：“這個人素有癡名。聽說他上奏章的時候，自知觸犯皇上該死，就買了一副棺材，告別妻兒，在朝廷等候治罪，童仆也都逃散，沒有人留下，他不會逃離。”世宗沉默不語，過會兒又取過奏章閱讀，一天讀了幾遍，被它感動而歎息，將奏疏留在中宮幾個月。曾說：“此人可以與比幹相配，但是我不是商紂。”最終將海瑞投入大牢。
世宗去世，海瑞獲釋，官複舊職。但因受高拱、張居正的排斥一直到72歲才複出，被授予舊職。
第二年正月，朝廷招他任南京右僉都禦史，又改任南京吏部右侍郎。海瑞曾向神宗上書陳述衰老將死，願比附古人屍諫的大義，大略講：“陛下勵精圖治，但政治還不理想，原因是貪婪官吏的刑罰輕了。大臣們不能談論緣由，反而借助待士有禮的說法，對此讚不絕口掩飾其過失。待士有禮，但是百姓又有什麼罪刑呢？”於是他列舉太祖剝皮囊草的刑罰以及洪武三十年（公元1397年）的定律貪汙80貫處絞刑的例證，稱現在應該用這些刑罰懲治貪官。其他方麵時政的謀劃，話語非常切實。惟獨勸皇帝施行酷刑，當時輿論認為不妥。禦史祚彈劾他。神宗雖然認為海瑞的言語過分，但明了他的忠誠，撤了這個禦史的職。
神宗屢次打算召用海瑞，執政的人暗中阻攔，於是任命他為南京右都禦史。南京各官向來苟且懶惰，海瑞身體力行矯正此風。有位禦史偶爾演戲取樂，海瑞打算遵循太祖法令杖責他。百司惶恐，都患其苦。提學禦史房寰擔心被糾察和揭發，準備先行發難，給事中鍾宇淳也鼓動，房寰再次上書對海瑞醜化詆毀。海瑞也多次上書請求退休，神宗安撫挽留，不同意他辭職。萬曆十五年（公元1587年），海瑞死在職任上。
一生被打壓卻愈打愈剛，海瑞的勇氣曠古難尋。