海瑞的政績和剛直抗顏使他受到百姓的擁戴，卻得罪了浙江總督胡宗憲、權貴鄢懋卿之流。原已調升嘉興通判的海瑞，還未上任，就被鄢懋卿的同黨袁淳捏造罪名而削去職務。後來經原任福建提學副使、時任吏部尚書朱衡的力薦，才被重新委派任興國知縣。在興國一年半，海瑞仍像在淳安任上一樣，通過了解百姓疾苦，提出了改革弊端的《興國八議》，上報南贛都禦史吳堯山。其中提出的主要措施是清丈田畝、裁減冗官、招撫逃民等。這些措施減輕了百姓的負擔，受到百姓的擁戴。
在嘉興任上，海瑞對於豪強欺淩、魚肉百姓的做法仍是毫不手軟。當地鄉官張鏊曾做過兵部尚書，因年歲已高回鄉養老。他的兩個侄兒張豹、張魁仗勢欺人，當海瑞傳訊兩個人時，張豹、張魁竟然抗拒不上公堂，並大鬧縣衙門。海瑞怒火中燒，捉拿張豹押送到府裏。張鏊四處遊說，以至於張豹無罪獲釋。海瑞聞聽後，屢次“上訴”，直至給張豹、張鏊定罪。所以說，海瑞有“青天”之說，並非徒有虛名。
海瑞崇尚節儉，反對請客送禮，對上司也決不卑躬屈膝、阿諛奉承。在淳安任上時，按以往慣例，上司或朝廷要員到來，地方官均要送禮。同時，對於地方官來說，要想入朝進京，更是必須搞好關係。海瑞對此則不屑一顧，他認為：“所有的官員都不向上司送禮，難道就一個也不提升？所有的官員都賄賂上司，難道就一個也不降職？為什麼要做這種既違心又犯罪的事呢！”
相對於海瑞“舍得一身剮，要把皇帝拉下馬”的胸襟氣概來說，海瑞與官僚豪強作鬥爭就無需大驚小怪了。
嘉靖四十三年（公元1564年），海瑞被調到京城任職，在戶部擔任雲南司主事，從而使他可以在更大的範圍內考慮國家大事。經過兩年的調查研究，他掌握了許多關於朝廷腐敗的材料。世宗皇帝朱厚熜自嘉靖二十年（公元1541年）以來就不上朝理事，拜“仙士”陶仲文為師，求長生不老之術，全然不顧國家的興衰得失。而對於世宗的此種做法，督撫大吏爭上符瑞。而對此提出異議的有楊最、楊爵，楊最被當場打死，楊爵則被打得血肉模糊，昏迷一夜才蘇醒過來，並為此在監獄中被關押了五年。廷臣自楊最、楊爵得罪後，就沒有敢言論時政的人了。在這種情況下，對於世宗的做法是放縱還是規諫，海瑞勇敢地選擇了後者。
為使明王朝能長治久安，海瑞上了《直言天下第一事疏》，也稱《治安疏》，目的在於“為直言天下第一事，以正君道，明臣職，求萬世治安事”。為此，海瑞披肝瀝膽，為世宗陳說利害。
海瑞海瑞的言辭，其理甚切，其意至明。同時，海瑞真是把生死置之度外了。在奏疏中，海瑞大膽地引用民謠，說：“嘉靖（家淨）是什麼意思呢？嘉靖就是家家幹幹淨淨，什麼錢財都沒有。”
明世宗看完奏疏後大怒，將奏疏扔到地上，並命人去抓海瑞。宦官黃錦在一旁說道：“海瑞一向以癡誌聞名，聽說他在上此奏疏時就知道觸犯皇上是死罪，並已經備好了棺材，還與妻子兒女訣別，吩咐家仆在他被定罪後也各奔東西，看樣子海瑞是下了必死的決心了。”世宗聞聽，沉默良久，又拿起奏疏讀了幾遍，對其中的道理有所感悟，說道：“此人可與比幹相比，但是朕也並非商紂啊！”雖然沒有立即把海瑞抓起來，但過了幾天，還是命將海瑞交錦衣衛審訊，定海瑞死罪。嘉靖四十五年（公元1566年），世宗崩，穆宗即位，海瑞才被釋放。
海瑞獲釋後，複任戶部雲南司主事，不久又改任兵部武庫司主事。隆慶元年（公元1567年），調任專管皇帝璽印的尚寶司司丞，之後又調任大理寺寺丞，專管平反冤獄。同年冬，調任南京右通政。
隆慶三年（公元1569年）五月，海瑞升任右僉都禦史，以欽差大臣身份總督糧道巡撫應天。由於連年受災，加之貪官汙吏的盤剝，百姓負擔日重。“蓋華亭鄉官田宅之多，奴仆之眾，小民詈怒而恨，兩京十二省無有也”。為改變這一局麵，海瑞決心革黜貪官汙吏，搏擊豪強，矯革浮淫，厘正宿弊。
海瑞到任不久的一番措施，使風物頓易。有一權貴曾把自己的門第漆成紅色，以示招搖，聽說海瑞將至，一夜之間急忙將門第改漆成了黑色。一太監任江南織造，出入乘八人肩輿，見海瑞到任，心中畏懼，遂將八人肩輿改成四人肩輿。然而，最關鍵的還是怎樣改變“富者田連阡陌，貧者無立錐之地”的現狀，以利於民。在海瑞看來，吳淞江是國計所需，民生所賴，修之舉之，不能有一日的遲緩。吳淞江是引太湖水經黃浦江入海的，年久失修，致使通道填淤。同時，地處常熟境內的白茆河也流泄不通。為此，海瑞主持疏浚吳淞、白茆，通流入海，使百姓得到了極大的好處。同時，海瑞在興建水利工程之中，還通過兼行賑濟的方法，使千萬饑民的生活得到了妥善的安置。
海瑞向來不滿於高官大戶對於農民田地的兼並，於是采取措施逼迫鄉官退田，實行均田均稅。退田措施是與推行“一條鞭法”同時進行的。