中日甲午戰爭期問，原兩江總督劉坤一在北方指揮軍隊，張調往南京署理兩江總督，他努力向北方發送給養和新兵。國人抗爭，反對李鴻章的議和。和約締結之後，他再一次極力敦促修築京漢鐵路。計劃獲準後，奉命回到武昌去監督計劃的實施。他打算向中國投資者發行股票但沒有成功。光緒二十二年末，盛宣懷獲準借外資修築鐵路。光緒二十四年，盧保段建成，光緒二十六年延至北京，光緒三十二年京漢的鐵路全線完工。
中國在甲午海戰中敗於日本，引起了朝野上下的強烈反響。至光緒二十四年，外國列強對中國勢力範圍的爭奪使許多學者猛醒。光緒最終聽從康有為的主張，開始“百日維新”。原先張之洞的態度是同情維新的，他向皇帝推薦一批思想開明的青年，其中就包括梁啟超。在維新運動中期，他寫下著名《勸學篇》二卷，光緒二十四年刊行，皇帝下令將它分發給所有官員和學者，這篇著作的真正目的是鼓吹一個先從教育著手、逐漸改良的方案。而不是皇帝和康有為正在嚐試的大刀闊步的變革。文章大意是：中國的出路在於複興儒家學說，並采用西方的科學技術，但不采用它的哲學，這就是的謂“舊學為體，新學為用”。光緒二十四年九月二十一日“百日維新”失敗，慈禧太後重掌大權，張之洞致電慈禧，竭力主張懲辦維新黨人，盡管他與維新黨中多人頗有來往。此外，他拒絕同劉坤一一同上書反對廢黜皇帝。光緒二十四年之後，張之洞受到朝廷的懷疑，同時又為維新黨人所憎恨，他們認為他膽小怕事而且背信棄義。他與維新派的最後決裂是在光緒二十六年八月。當時一些維新黨人聚集在漢口，準備在義和團起事的掩護下，秘密舉行武裝起義以推翻慈禧政權，使光緒皇帝重新掌權，但計劃為張之洞所得知，他下令逮捕並處死其領導人唐才常及他的19名同謀。
光緒二十六年義和團起義對張之洞的政治才能是一次考驗。張之洞忠於慈禧太後，身為總督，他的職責要求他服從朝廷的命令，但他意識到一場排外運動的危險性。他和劉坤一所采取的做法，使他們在義和團起義中得以同時受到太後和外國人的信任。他一方麵奉北京朝廷之命向北方調撥軍隊，但這些調出的軍隊是強征而來未經訓練的，最精銳的軍隊他卻留在身邊。一方麵他又向外國人表明他不完全排外的立場，上海外國領事團被告知，隻要列強不派軍隊侵入長江流域，張和劉將保證長江流域外國人生命和財產的安全。這項建議被列強基本上接受了，並且為其他督撫所采納，它使中南地區外國人的安全得到保障。
張之洞的政治才能應變能力使他在義和團起義之後，在朝中頗受寵信，加封太子太保。光緒二十七年一月，下諭召詢有關最需改革之事項，他和劉坤一合遞了三份奏折。這三份奏折有兩方麵的重要內容：首先建議設立現代學校，改革科舉製度並鼓勵學生去國外留學；第二、提倡依照西方國家行政和軍事改革。光緒二十八年十月，劉坤一去世，張之洞再次在南京署理兩江總督。他任職五個月，大部分時間致力於教育事業。在北京舉行的有關教育問題的朝議之後，他受命參與製訂全國學製。有關學校體製的的建議書於光緒三十年一月送呈禦覽。上奏中的學校體製顯然以日本模式為基礎。為了推行新學製，張支持廢除由來已久的科舉考試，科舉考試於光緒三十一年終於被明令廢除。
光緒三十三年，張之洞奉召進京授大學士、軍機大臣。光緒三十四年十一月，光緒皇帝和慈禧太後逝世，此時，張已是衰落的滿清王朝僅存的著名人物，漫長而緊張的官僚生涯使他精疲力盡，他於宣統元年（1909）十月四日去世，諡“文襄”。