張居正自任內閣首輔後，一心為國家社稷著想，盡職盡責地輔佐教導幼主明神宗萬曆皇帝，力勸他親賢臣，遠小人，慎起居，戒遊佚。又勸他罷節浮貴，量入為出，裁汰冗員，嚴核財賦。他積極進行改革，殫精竭智，一心為國，且舍生取義，不為毀譽所左右；興利除弊，嚴明法紀，敢當重任。由於他的勤勉努力，使萬曆以來，主聖時清，吏治清正。紀綱振肅，風俗淳樸，煙火萬裏，露積相望，漠北驕虜，俯首稱臣。
正因為做得很好，他也會難免得罪了不少人。他們對張居正的改革觸及了自己的利益十分敵視，千方百計要與之作對。也有的人與張居正政見相左，甚至嫉妒其才能和權力。他們認為張居正以宰相自居，挾天子以令天下，事無大小，均須聽命於他，也太專橫霸道了。種種不滿和矛盾，不斷地困擾著張居正，給他的改革帶來了相當大的困難和阻力。
萬曆初年，禮部尚書陸樹聲就因看不慣張居正的一係列做法而辭職。
淡泊功名的陸樹聲在朝中算是個清流首領，向來恃才傲物，天生一副俠腸。張居正對他很崇敬，曾以後進之禮前往參謁。可他卻不冷不熱，弄得張居正非常尷尬。他對張居正的所作所為頗有些不以為然，不免時時耿耿於懷，懷恨於心。
經受了幾次門生發難的沉重打擊和為父奔喪的長途跋涉，張居正忽然身患重病，臥床不起，經過多方醫治不見好轉。
張居正自知將要不起，遂連上兩疏，懇求萬曆恩準致仕歸去，以求生還江陵故土，萬曆始終不準。
這天，萬曆帝親自派遣的一大群太監，文淵閣中的大學士張四維、申時行以及在京的各部尚書們齊集在張居正病榻前。
萬曆十年（1582年）六月二十日。張居正終於遺下他嘔心瀝血建樹的改革業績以及年近八旬的老母、三十餘年的伴侶、六個兒子、六個孫子，安靜地離開了人間，終年五十八歲。
張居正危病期間，明神宗萬曆皇帝曾十分痛心，送給他許多珍貴藥品和補品，並對他說：“先生功大，朕無可為酬，隻是看顧先生的子孫便了。”這樣，張居正在九泉之下也用不著為自己的子孫擔心了。張居正病逝後，神宗下詔罷朝數日，並贈他為上柱國，賜諡文忠，據諡法解。“文”是曾任翰林者常有的諡法，“忠”是特賜，“危身奉上曰忠”。明顯在賜諡時，神宗對於張居正功勳業績的評價是相當高的。
然而，張居正屍骨未寒，時局卻急下逆轉。沒過幾個月，明神宗就變了臉，加上那些在改革中被張居正得罪的人添鹽加醋地告狀，張居正立刻遭到自上而下的痛斥。
張居正過去的改革得以成功，得以順利的進行在很大程度上取決於神宗與他保持了一致的態度。這種局麵由兩種因素決定，一是自嘉靖以來與日俱增的政治危機的猛烈打擊下，統治階級再也不能按照原來的樣子繼續統治下去了，所以反對改革的勢力未能占據上風；二是由於神宗即位後，年僅十歲，他對身兼嚴師和首輔的張居正敬畏有加，處處聽從其指點，因此對進行的改革並無疑議。在這種形勢下，張居正代表的是地主階級的整體利益，行使的是至高無上的皇帝的權利，所以才使其改革取得了迅速成功。