世宗死後，穆宗繼位。新繼位的皇帝早就聽說了這位海剛峰的大名，因而海瑞很快官複原職，天下官民拍手稱快。不久，海瑞又升為大理寺右寺丞，官居正五品，專管平反冤獄，開始了一段較為平靜的仕宦生涯。先後曆任兩京左、右通政（正四品）等職。隆慶三年（1569）夏天，海瑞又升任都察院右僉都禦史，巡撫應天十府。應天十府為明王朝財賦之區，號稱全國最富庶的地方。但由於連年受災，加上貪官汙吏盤剝、鄉官橫行、土地集中，明穆宗百姓糧、役負擔特別重，生活在水深火熱之中，特別是鬆江更為嚴重。海瑞在《被論自陳不職疏》裏指出：“蓋華亭鄉官田宅之多，奴仆之眾，小民詈怒而恨，兩京十二省無有也。”海瑞下決心要改變這個局麵。到任之後，他銳意興革，整肅吏治，力摧豪強，矯革浮淫，厘正宿弊，一切以黎民百姓的利益為重。然而此舉掀起了軒然大波，幾乎完全斷送了海瑞的仕宦生涯。
名滿天下的海瑞蒞任應天十府後，政治風雲突變，官員們心驚膽顫，有的望風解綬，逃於外省避風，有的趕忙收斂平時窮奢極欲的習氣，裝成安分守職的樣子。有個顯赫的權貴，把自己的門第漆成紅色的，以示招搖，聽說海瑞要來了，一夜之間就改漆成黑色的；一個太監任監江南織造，曆來驕橫侈縱，出入乘八人肩輿，看到海瑞來了，心裏很不自在，遂將八人肩輿，改成四人肩輿。海瑞的到來，在應天十府的官場中造成一種威懾的氣氛。但是，他卻麵臨著嚴峻的困難，應天十府政治與經濟百孔千瘡，工作從何入手？那一年鬆江一帶正鬧水災，一直到深秋季節，許多良田仍然浸在水裏，原因是吳淞江、白茆河年久失修，河床堵塞。於是，海瑞決定，頭一項工作就從整修吳淞江、白茆河入手。
吳淞江引太湖水經黃浦江入海，但多年來到這裏任水利官員的，卻“曠職不修”，即使巡撫來了也不留心。於是，河床泥沙，“日有積累，月有繼嗣，通道填淤”，時間一久，太湖的水流不出來，奔湧回溢，便造成了巨害。海瑞在《開吳淞江疏》裏說：“吳淞江一水，國計所需，民生信賴，修之舉之，不可一日緩也。”之後，海瑞又在《平白茆河疏》中，提出地處常熟縣境內的白茆河因“水患不流泄”，三吳以北一些縣“均受其害”。而三吳入海通道，南麵是吳淞江，北麵是白茆河，居中為劉家河。劉家河原無淤滯，吳淞江已動工開疏，如果白茆河也同時疏浚，這個地區的水害就會得到解決。為了疏浚吳淞江、白茆河，海瑞親自派人作了實地勘查，計算所應挖掘的土方及所費銀兩，然後提出以工代賑的辦法。當時饑民很多，處於饑餓無食的狀態。如果不修吳淞江、白茆河，也不能看著百姓餓死，那就得開倉賑濟，如果疏浚吳淞江、白茆河，實行以工代賑，則可興修水利，又可達到賑濟饑民的目的。正如海瑞在上疏時指出的，這時“青黃不接，饑民尚苦無處趁食，官發銀米賑濟，勢之所必然也”，如果“興工之中，兼行賑濟，既有利於目前之饑民，河道開通，且有望今秋之成熟”。
海瑞的以工代賑收到預期的效果，一方麵是所有費用“不取之民，不損之官”，隻用本來就應用作救濟的倉庫積儲就能解決；另一方麵，也穩定了饑民的情緒，因為實行“興工之中，兼行賑濟，千萬饑民，稍安戢矣”。更重要的是由於吳淞江、白茆河的治理，在一個時期內消除了三吳地區的水患。就連當時反對海瑞的大地主、鬆江人何良俊也不得不承認：“前年海剛峰任應天巡撫，遂一力開浚吳淞江。隆慶四年（1570）、五年（1571）這個地區皆有大水，百姓沒有遭受水害，即開吳淞江之力也。如果沒有海瑞倡開吳淞江，怎能取得這樣大的成功呢？”有個想和海瑞作對的按院，也不得不私下驚歎曰：“萬世功被他成了。”
海瑞到任後，發現“天下財貨，皆聚於豪勢之家”，特別是土地兼並非常嚴重。豪強田連阡陌，弱者無立錐之地，喪失土地的農民被迫四處流亡。一州一縣之內，流徙之民，常居其半。這種狀況不僅導致朝廷的稅賦不足，更激化了社會矛盾。麵對如此敏感而棘手的難題，海瑞竟“冒天下之大不韙”，從土地問題開刀，逼令侵奪民田的官紳之家退田。而當地占地最廣的士紳之一是對海瑞有恩的退休首輔徐階，其產業之多，令人駭異，據說有田數十萬畝。海瑞對之一視同仁，責成徐階退其田畝半數以上。這使飽受勢豪欺壓的平民有了揚眉吐氣、申訴冤屈的機會，卻讓徐階處於十分難堪的境地。貧苦農民成群結隊，沿街呼號，每日都有上千人在徐府門前示威哄鬧。徐府家人無計可施，隻得取來臭泥糞堆在院前，見有人闖入便用泥潑出。由此，徐階對海瑞恨之入骨。作為曾經叱吒風雲的一代權臣，徐階自然不會坐以待斃，他的暗中活動在很大程度上決定了海瑞的命運。