海瑞於隆慶四年（1570年）上《告養病疏》，被獲準辭官，返回家鄉。
海瑞從應天回到海南島的瓊山，開始了清苦的閑居生活。當然，他的心情是苦悶的，因為他的興利除弊的改革剛剛初見成效，便遇到各種阻力，更得不到皇帝的支持，不能施展抱負，難免心煩意亂。海瑞在浙江、江西、北京、南京、蘇州等地為官數十年，卻從來沒有添置過田產。此次回籍仍然靠祖上遺留下來的十幾畝田地度日，身邊也隻有年已古稀的老母親和侍妾（妻子王氏病故），相依為命，生活清貧恬淡。
解職回鄉的海瑞，很少與他人來往。他對老母謝氏十分孝順，感激其喪夫後撫己成才立業的養育之恩。據傳，他早在南平縣任教諭時，就把母親接到任上一起生活，因為母親從28歲開始守寡，勤儉持家，這給海瑞留下深刻印象。海瑞在淳安任知縣時，有一天自己親自買了二斤肉，人們都很奇怪，海知縣今天是怎麼了？他平日連半斤肉都舍不得買呀！後來人們才知道，買二斤肉是為母親過生日。這件事傳了出去，被浙江總督胡宗憲所知，做笑話一傳再傳，胡宗憲認為海瑞堂堂七品知縣，日子過得太寒酸。
知縣的母親過生日，發請柬、辦酒席、祝福老人家健康長壽，這在過去可以說是司空見慣的事，知縣本人亦可乘機發上一筆或大或小的錢財，這也是買官賣官的一個機遇。可是，海瑞隻給母親買了二斤肉，還被權貴豪吏者譏笑傳聞，真是令人慨歎。
海瑞的儉樸是世人皆知的，他的官服隻有上朝理事或者有重大拜見活動時才穿，並且多年不易；有一次進京述職穿的是五年前的舊袍，吏部眾多官員都為之感動。海瑞的靴子多年不更換，破了之後找鞋匠修補，受到居民普遍讚揚。
明朝官員的俸祿，同唐宋等朝代相比是偏低的，應酬官場上的禮尚往來需要一筆資金，這筆資金從哪裏來？一般地說，州府、縣皆從稅收或向民眾攤派中攫取。海瑞沒向老百姓伸手，也沒從稅收中提取，而是首先減免迎來送往方麵的支出。除此之外，他還自己動手創造財富。他曾利用業餘時間開墾菜園，用勤勞的雙手創造財富，以彌補財力上的不足，這種自力更生，艱苦奮鬥的作風，在中國古代官員中是罕見的。
海瑞有“海青天”等稱謂，這是人們讚頌他嚴懲貪官汙吏、平反昭雪冤假錯案的剛毅風骨。海瑞又有“愛民如子”和“老百姓的父母官”等稱呼，是指他為官一日就盡職盡責一天，想方設法為百姓謀求利益，因此深受百姓的愛戴。他每到一地都要派出官員丈量當地土地，然後根據土地的多少確定賦稅徭役的高低，從而防止了土地多而賦役少的嚴重弊病，此舉一是減輕了農民的負擔，二是控製了土地兼並繼續蔓延的勢態，三是緩和了階級矛盾，達到了一舉三得的效果。
早在海瑞辭職返鄉之前，有人告訴他：“瓊州一帶（在廣東海南島澄邁以東，會樂以北）有人借您的名義放債買田。”海瑞聽後立即寫信給瓊州知府，信中說：“生自為官以來，俸餘所入，僅僅足用，餘無分文可債可貸，田業止祖餘量一石二鬥，外來增一畝一升，有以二事呼瑞進狀者，皆作為也。請台下一查治之，勿少假貸。”
海瑞從任福建南平縣教諭到江蘇應天府巡撫，當了18年官，從自己薪俸中日積月累了120兩銀子，才買下了一所住宅。此外便沒有什麼財產添置了。至於田產，如前所述也隻有祖傳十餘畝。在丈量清算土地麵積時，當地縣吏為照顧他家，少算了1畝8分，海瑞知道後不答應，執意要照實按田地畝數計算。全家吃用，都從這祖傳的10餘畝田裏出，連溫飽都談不上。
在中國封建社會，發展農業生產至為關鍵，而發展農業生產離不開興修水利。海瑞對水利事業極為重視，他在任應天巡撫期間，經實地考察，弄清楚了江蘇的吳淞江泄太湖之水，原來沿江田畝都靠這條江水灌溉。年長月久，又不修治，江岸堤防被潮水衝刷腐蝕，造成通道淤堵，每遇狂風暴雨即成水災，大片田地被淹沒，水害連連。海瑞組織府衙官員，發動組織群眾，賑濟饑民，用工代賑，僅用了56天時間疏通吳淞江，又用30天時間疏浚白茆河，變水害為水利。
“要開吳淞江，除是海龍王。”這是流傳於江南民間的兩句話，意思是治理吳淞江水患根本沒有指望。當時的民眾認為，開河通口是朝廷絕不會做的一項大工程，即使做了也得要老百姓出錢。原本做夢都夢不到的好事，如今竟在海瑞大人率領下，美夢成真了。河修好了，老百姓一個子兒也沒花。
自從海瑞辭職還鄉之後，雖有朝中正義官員多次替他鳴不平，保薦他重新任職，但是，權傾朝野的張居正於1572年出任內閣首輔（相當於丞相）執掌國事，後憚於海瑞的孤峭剛直，曾派巡按禦史梁雲龍去查訪海瑞。梁雲龍來到瓊山探視，海瑞高興地殺了雞、煮了玉米款待來客，梁雲龍環顧房舍，僅有竹桌、竹椅，冷落淒切，滿目蕭然，歎息而歸。