萬曆三年（1575年），他對驛遞的使用製度，作了詳盡嚴格的規定，並由考成法來監督執行，違者重罪。規定頒布後，凡有以身試法者，均受到嚴懲。如甘肅巡撫的兒子擅用驛遞，被革去官蔭。甚至皇親去武當山祈嗣，也不敢使用驛遞。
張居正自己更是身體力行，以身作則。他吩咐兒子自己雇車回鄉應考；命令仆人騎驢返裏為父祝壽；後來他弟弟病重，回家調治，保定巡撫張鹵例外發給勘合，張居正立即交還，並致函表示自己身為執政大臣，“欲為朝廷行法，不敢不以身先之。”經過這樣一番整治，驛遞狀況一反舊觀，“公卿群吏不得乘傳，與商旅無別”。百姓負擔也減輕不少。
接著，張居正又開始了對財政的初步整頓。自正德、嘉靖以來，明朝在財政上陷於困境，各地積欠賦稅越來越多，國家收入逐年銳減。神宗初年，曾詔許隆慶元年（1567年）以前的積欠，悉行蠲免，隆慶四年（1570年）以前的積欠，免去百分之三十，其餘一律在交納本年賦稅時帶征。
為了切實執行這一詔令，張居正用考成法嚴加督查，完不成任務的，撫、按官聽糾，郡縣官聽調。結果國家的歲入逐年增多。他還采納戶部尚書的建議，地方收入除必需開支外，一律上繳中央充作軍費，這又使軍費逐漸充裕。又由於和俺答互市，獲得大批馬匹，就將原來太仆寺所養的種馬賣給民間，從而開辟了財源。
在開源的同時，張居正也不忘記節流。作為首輔，他沒有迎合神宗的侈靡，而是循循善誘，勸導神宗節儉。在他的堅持下，宮中很多奢侈的開支或罷或減，一些錦上添花的工程也被停止，節省了大量開支。這些措施，終於使明朝初步改變了長期以來入不敷出的窘況。
不善謀身的政治家
張居正既有“富國”的理想，也有“強兵”的決心。他在全力整頓內部的同時，並沒有忘記對邊防的關注。自從俺答封貢以後，西部北部邊境，烽火寂然。但韃靼的另一首領土蠻卻常在東北邊境入犯，他們還和名義上歸順明朝的兀良哈部時相聯合，構成東北邊患。這樣，薊州、遼東二鎮又首當其衝。“居正用李成梁鎮遼，戚繼光鎮薊門”，加強防禦。為了充分發揮戚繼光的作用，張居正信任他、支持他、苦心維護他，使繼光動無掣肘。
為了肅清東南倭寇的騷擾，張居正在沿海分段設寨，加強戒備。同時整修兵船，巡弋近海，一旦倭寇來犯，便殲敵於海上，不使他們登陸。
萬曆五年（1577年）九月，正當張居正撥亂反正、初見成效的時候，他的父親去世了。在封建社會，政府官員父母去世，一定要離職守製三年。除非皇帝特許，才能喪服視事，謂之“奪情”。張居正回顧入閣以來，攬政五年，致力改革，國家剛剛由亂歸治，中興在望，如今一旦撒手，改革很可能半途而廢，前功盡棄。
為了自己的事業，為了明朝的中興，在皇帝詔許下，他置封建孝道於不顧，決定“奪情”視事。消息傳出，立即引起一場軒然大波。反對派交章彈劾，攻擊張居正“忘親貪位”。張居正承受著極大的壓力。後來在神宗的幹涉下，才製止了這場風波。
張居正在料理好父親的喪事後，又全身心地投入到國事中來。為了從根本上整頓國家的賦役，萬曆六年（1578年），張居正奏請“天下田畝通行丈量，限三載竣事”。明初全國納稅土地共有八百五十萬頃，由於劇烈的土地兼並，官僚地主鄉紳巧取豪奪，占有大量土地，他們又千方百計逃避國家賦稅，以致出現“豪民有田不賦，貧民攤派為累，民窮逃亡，故額頓減”的狀況，到了弘治年間，全國納稅土地竟隻有四百二十萬頃，使國家財源麵臨枯竭的危險。
為此，張居正以“苟利社稷，死生以之”的無畏氣概，冒著得罪豪強巨室的危險，重新清丈土地，經過三年的大清查，查得天下土田七百餘萬頃，比弘治時超出三百萬頃。這是一個驚人的成績。在查清了田畝數字以後，為了均平賦役，張居正又改革了賦役製度，於萬曆九年（1581年）在全國推廣“一條鞭法”，把部分丁役攤到土地上征收，賦役一概征銀。一條鞭法既保證了國家的稅收，又在一定程度上減輕了人民的負擔，也有利於資本主義萌芽的發展，是我國賦役製度史上的重大改革。史載：“自正、嘉虛耗後，至萬曆十年間，最稱富庶。”
多年緊張、繁重的國務，終於使張居正心力交瘁。萬曆十年（1582年）六月，張居正病逝，終年58歲。
在他去世前9天，他成了明朝曆史上唯一的太師，可他已經沒有時間來憑借這個職位做更多的工作了。未到長壽之年便辭世的他一定是抱恨終天的，卻並不妨礙很多人額手稱慶。
張居正入閣以來，十年揆度，治績炳然。他的改革促進了社會的安定，推動了經濟的發展，緩和了階級矛盾，是值得肯定的。
張居正為國家贏得了富強，卻為自己帶來了禍殃。他身死未幾，屍骨未寒，便遭到一些人的肆意攻擊。來自多方麵的檢舉揭發使他獲得了欺君害民、賣官鬻爵、結黨營私、居心叵測、企圖篡位等罪名，而神宗也早已耿耿於張居正的震主之威，於是下詔盡削張居正官秩，追奪以前所賜璽書、四代誥命，以罪狀示天下，差點兒剖棺戮屍。張居正家鄉荊州地方官也抄其家、封其門，他的家屬餓死者竟達十餘人，他的弟弟、兒子也被流放。