他一道又一道上辭呈，希望盡快擺脫汙濁的官場。皇帝卻一次又一次拒絕。皇帝欣賞海瑞的品格，佩服海瑞的勇氣，讚美海瑞的清廉。他可不想承擔放逐清官的罵名。有這樣一個將來可以留名千古的清官在自己的時代，是朝廷的光榮，也是他這個皇帝的光榮。
既然不能求去，海瑞隻好做起他的右都禦史。隻要做了，他就不會做一天和尚撞一天鍾。不論什麼時候，他都學不會敷衍了事，學不會做表麵文章。本來，“右都禦史”隻是名義上的尊稱，習慣上，在南京禦史台並不管實事，與眾禦史其實“無所短長”。整個南京禦史台甚至都不怎麼上班，右都禦史更是經常經月不見一麵。
然而，海瑞卻不這樣看。他認為，禦史的職責就是紀律監督，自然應該做百官的表率。這一點上，南京禦史和北京禦史不應該有什麼區別。上任後，他做的第一件事就是整頓紀律，要求所有禦史都得上班。
海瑞每天早早就到禦史衙門，誰上班遲到了，立刻罰俸。禦史們其實沒有公事可辦，也得一天天在堂上坐著。
南京禦史紀律鬆弛慣了，違法亂紀是尋常之事。海瑞一旦發現，定然嚴懲不貸。禦史陳海樓的家人到市場上用官員紅票買米，隻付給一半價錢，這其實是南京官場的慣例。海瑞得知後，將其家人責打三十大板，並且戴上大枷，放在衙門口示眾。有一位禦史生日之時，在家大擺宴席，請了歌伎戲班子唱了一天。海瑞找出太祖定下的規矩，“禦史為百官之表，宴燕不得延伎”，毫不留情地把這位禦史按到地上，杖責了一頓。
其實海瑞也知道沒有必要做得這樣嚴厲，這樣苛刻。他或許也知道這樣會招來人們的反感、厭惡、痛恨。
南京的禦史們不堪其苦。雖然彈劾海瑞是一件風險很大的舉動，他們也不得不為之了。萬曆十四年（1586年）四月，禦史房寰彈劾海瑞：“蒞官無一善狀，惟務詐誕，矜己誇人，一言一論無不為士論所笑。”皇帝批複：“雖當局任事，恐非所長，而用之以鎮雅俗、勵頹風，未為無補，合令本官照舊供職。”（《明神宗實錄》卷一七三）
皇帝終於說出了他的心裏話。原來，“清官”們是不適於“當局任事”，參與實際權力運作的。但是他們適於“鎮雅俗、勵頹風”，也就是說，做一塊官場的門麵，用來裝點朝廷，用來讓大家學習其精神。
精神可用來寫到書上，記入史冊，激勵人心，卻不可施用於實際。
這其實是千古“清官”共同的命運。“清官”隻是官場的遮羞布，是廁所窗台上的一盆塑料花。
在官場上被視為異端、視為魔鬼的同時，在民間，海瑞卻已經漸漸成了“神”，成為老百姓希望的寄托。在老百姓的心中，“海青天”就是善惡的最終裁判者，是傳奇式的大英雄。
張萱《疑耀》卷二《司馬文正海忠介》載：海瑞從海南起複，入南京為官，進入南京那天，老百姓都湧到街上，“黃童白叟，填溢街巷以觀公”。老百姓每天到海瑞宅第求見海瑞的絡繹不絕。有的百姓進來後，並無事相求，海瑞問：“見我何為，欲言事乎？”百姓叩頭說沒什麼事，“願一見海爺顏貌耳”。
南京市流傳著許多關於海瑞的傳說。有一天大家都傳說北京押解來一個“木妖神”。原來，有一天皇帝在禦花園，此妖神作祟，皇帝舉諸大臣名來壓這個妖神，妖神皆不懼。唯雲送南京海某處，則無聲。今解來矣。
林林總總的傳說不一而足，在海瑞上下班的路上，每天都會有人專門等候，希望能在海瑞掀起轎簾的時候看一眼他的真容。“海瑞”這兩個字，已經成了一種符咒，被用來詛咒一世的貪官。在南京市井，甚至有一種專門以“海瑞懲貪”為題材的評書，聽者如堵。
海瑞已經成了一個偶像，正義的化身，一個超現實的存在。而現實生活中的海瑞，卻已經心如死灰。他憎恨這個荒謬的世界。
海瑞終於死了。萬曆十五年（1587年）十月十四日，海瑞病故於南京。