中期的明朝，早已度過了它的“黃金時代”，而呈現出一派衰微的景象：政治上吏治腐敗，弊端叢生；經濟上財政拮據，捉襟見肘；內部階級矛盾尖銳，農民的反抗鬥爭此伏彼起；邊患雲起，險象迭至，南有倭寇肆虐，北有蒙古逞威。鑒於此，張居正在入閣的第二年，就上了洋洋幾千言的《陳六事疏》，從省議論、振紀綱、重詔令、核名實、固邦本、飭武備等六個方麵全麵地提出了整頓朝政的政治主張。這些主張既切中時弊，也切實可行。但穆宗畢竟不是明君英主，你言之諄諄，他聽之藐藐，並不準備付諸實施。穆宗的冷漠，並沒有熄滅張居正的熱情，他在力所能及的範圍內繼續推行自己的政治主張。
隆慶四年（1570年）十月，韃靼首領俺答的孫子把漢那吉由於家庭糾紛，率眾請求內附，大同巡撫和宣大總督王崇古決定收留他們。張居正得知後立即寫信給王崇古，指授方略，妥善安置把漢那吉，然後要王崇古、方逢時聯名上疏，請求朝廷受降。疏稿至朝，朝議大嘩，很多人以“敵情叵測”為借口，反對納降。張居正力排眾議，和內閣首輔高拱極力主張受降，終於說動穆宗，對把漢那吉授官賜衣，後來又應俺答的請求，禮送把漢那吉回歸故鄉。
由於對把漢那吉處置得當，終於感動了俺答。俺答不僅把先前背叛明朝、擾亂邊疆的叛臣縛送明朝，還請求封貢、互市，願意和明朝和平相處。這本來是有利雙方的好事，可朝廷又是物議紛然，有人甚至攻擊王崇古“邀近功，忽遠慮”（《明史·王崇古傳》）。張居正認為“封貢”、“互市”是爭取邊境安寧的“大機大略”，決不能放過這個機會。他一方麵在朝廷力爭，申說貢、市之利，批駁各種謬論；另一方麵又致書王崇古，希望他不要顧慮朝廷中的流言浮議。在張居正等人的力爭下，隆慶五年（1571年）終於詔封俺答為順義王，並在沿邊三鎮開設馬市，與俺答進行貿易。從此，東起延、永，西抵嘉峪，數千裏邊防線上，幹戈化為玉帛，炊煙代替硝煙，明朝贏得了二十餘年的邊境安寧，開創了蒙漢人民和平交往的新局麵。
隆慶六年（1572年）五月，穆宗去世，神宗即位。張居正和司禮太監馮保密謀罷免內閣首輔高拱，他一躍而為首輔，總攬大政。
六年的閣臣生涯，鍛煉了張居正的政治才幹，也加深了他對國家積重之勢的認識。但是困難並沒有使他退卻，反而激起了他的勃勃雄心。這時的萬曆皇帝隻是一個十歲的小孩，權力和重擔實際上都落在張居正一人身上，他可以一展自己的抱負了。為了實現自己“富國強兵”的理想，他義無反顧地開始了大規模的改革。
體製性的大變革
改革首先從整頓吏治開始。吏治的好壞，直接影響到國家機器能否正常運轉。因此，他執政伊始，就奏請神宗實行考成法。
考成法規定，六部及都察院對於皇帝批準的各項奏章，應立即轉發各有關衙門執行。轉發前，應先酌道裏遠近，事情緩急，立定程限，置立一式三本文簿。一本留底，月終注銷；一本送達六科備案，實行一件，注銷一件，半年將文簿上交一次。另一本送交內閣查考。這樣，對於要辦的事情，從內閣到六科，從六部到各衙門，都做到心中有數，層層考成。
考成法收到了顯著成效，原來那種崇尚空談、不務實事、互相推諉、公文旅行的現象在很大程度上得到了克服。
另外，他針對當時在用人問題上的各種弊端，大聲疾呼：要“為國家愛養人才”，並提出了今後用人，“但問功能，不可拘資格”、“隨才任使”、“信而任之”的用人之道大膽選拔了一些各有專長的人充實到各個部門，使其揚長避短、人盡其才。
萬曆二年（1574年），為了糾正當時存在著的“官不久任，事不責成，更調太繁，遷轉太驟”的情況，張居正又推行內外官久任法。規定：知府、知縣六年一遷，其間如發現某人不宜任某官、某官不宜在某地的，撫、按官可量行更替；各省布政使、按察使三年一遷；中央科、道、部、曹六年一遷。這樣，“藩（布政使）、臬（按察使）、守、令皆得自展”，能盡心本職工作。他還裁減冗官，罷黜貪官，請皇帝召見各地廉官，以資獎勵。
張居正認為：“致治之道，莫要於安民。安民之法，莫重於守令。”因此，他對地方官考察很嚴，規定能夠“安靜宜民”者列為上考，如果“虛文驕飾”，即使平日浮譽素隆，也列下考。經過這一番整頓，萬曆初年吏治的情況大為改善。中央政令一經發出，“雖萬裏外，朝下而夕奉行”。
明朝中期的衰敗，當然不僅僅是吏治的腐朽，也有其他弊政的原因。張居正的可貴之處就在於他是實幹家，對於各種弊政，他總是一樁樁地去厘革。
如“核驛遞”就是其中一項重要改革。明朝在全國各地交通幹線上都有驛站，專為公差人員提供食宿和旅途方便。驛站開支主要由沿途百姓負擔。明初規定，隻有軍國大事，才能憑“勘合”（憑據）使用驛站。但後來，這一規定漸成具文，有的甚至在驛站恣意追逼勒索。凡此種種，致使驛遞“困敝至極”，人民也不堪負擔。張居正決心對此加以整頓。