神宗也曾想過讓司馬光主持朝政，領導改革。但司馬光同王安石之間在改革什麼、如何改革等方麵產生了嚴重的分歧與對立，因此拒不接受。
從個人關係來說，司馬光與王安石早就相識而且是好朋友，嘉祐年間在朝中同修起居注，神宗即位後二人又同居翰林學士之職。時人把他倆和呂公著、韓維四人稱為“嘉祐四友”。他們對國家形勢的認識也頗一致，都感到了封建統治麵臨全麵危機的嚴重性，主張改變現狀，實行政策和製度上的改革，但兩人在理財問題上的思路不一致，以後竟發展到在許多問題上完全對立。
在變法中，就其竭誠為國來說，二人是一致的，但在具體措施上，各有偏向。王安石主要是圍繞著當時財政、軍事上存在的問題，通過大刀闊斧的經濟、軍事改革措施，來解決燃眉之急。司馬光則認為在守成時期，應偏重於通過倫理綱常的整頓，來把人們的思想束縛在原有製度的製約之內，即使改革，也定要穩妥。
在司馬光與改革派之間，還有過一場較為著名的爭論。
（神宗）帝曰：“漢常守蕭何之法不變，可乎？”（司馬光）對曰：“寧獨漢也，使三代之君常守禹、湯、文、武之法，雖至今存可也。漢武取高帝約束紛更，盜賊半天下；元帝改孝宣之政，漢業遂衰。由此言之，祖宗之法不可變也。”呂惠卿言：“先王之法，有一年一變者，‘正月始和，布法象魏’是也；有五年一變者，巡守考製度是也；有三十年一變者，‘刑罰世輕世重’是也。”帝問光，光曰：“布法象魏，布舊法也。諸侯變禮易樂者，王巡守則誅之，不自變也。刑新國用輕典，亂國用重典，是為世輕世重，非變也。且治天下譬如居室，敝則修之，非大壞不更造也。公卿侍從皆在此，願陛下問之。三司使掌天下財，不才而黜可也，不可使執政侵其事。今為製置三司條例司，何也？宰相以道佐人主，安用例？苟用例，則胥吏矣。今為看詳中書條例司，何也？”惠卿不能對，則以他語詆光。
“祖宗之法不可變也”。這就是司馬光的思想根源之所在。從此，司馬光與改革派勢如水火。神宗曾想封司馬光為樞密副使，司馬光卻百辭不受。為避免與改革派發生正麵衝突，司馬光便請求外任，以便自己能夠修史。
元豐八年（1085）三月，神宗病逝，其子趙煦繼位，是為哲宗，改元元祐。年僅10歲的哲宗不能親政，朝中大權由他的祖母太皇太後高氏掌握。高太後一向器重司馬光，反對王安石變法，而且神宗臨死之前曾留言讓司馬光和呂公著做趙煦的師傅。同年四月，司馬光入朝任門下侍郎，元祐元年（1086）閏二月司馬光又升任尚書左仆射兼門下侍郎，做了宰相。這時他已經67歲，年邁力衰，身體多病，做宰相主持朝政已力不從心，但他卻以驚人的毅力為國家操勞。
司馬光此次執政，全力以赴地從事廢除王安石新法的工作。在就任門下侍郎的第二天，他就上了《請更張新法劄子》，把新法比之為毒藥，請立即采取措施，全部“更張”。十二月四日又上一份《請革弊劄子》，將王安石所行新法之弊病逐一列舉。為了使自己的政治主張能夠實現，罷廢新法一事能順利進行，入相以後他向高太後進言，陸續將因反對變法而被貶出各地的官吏劉摯、範純仁、李常、蘇軾、蘇轍等人召回宮中任職，呂公著、文彥博等老臣也逐漸回到朝中，被委以要職。老臣入朝後，變法派與反變法派展開了激烈的鬥爭。司馬光前後幾次上書，要求把青苗法、免役法、保甲法、方田均稅法全部廢除，一概否定了王安石變法。在高太後的支持下，變法派的蔡確被罷相出知陳州；章惇也被貶汝州。然而，司馬光這樣雷厲風行地廢除新法，不僅原來變法派的人物極力反對，就是原來反對變法的人也主張要慎重行事。範純仁就曾勸司馬光，對新法隻要“去其太甚者可矣”，並且應當“徐徐經理，乃為得計”。宋哲宗如廢保甲法時，對保甲當中那些武藝出眾的人，就應該委派殿前司加以揀選。呂公著也認為對新法主要是糾正其弊害，不一定全麵廢除。但是此時的司馬光已經聽不進去這些話，他認為“既知其為害於民，無益於國，便當一切廢罷”。他把廢除新法比作給人看病，認為主張慢慢來不讓病快點好，對病人是沒有好處的。
司馬光做宰相後政務繁忙，他不但日夜操勞國家大事，還擠出時間從事著述，20卷的《稽古錄》便成書於這一時期。元祐元年（1086）八月，司馬光的病情突然加重，昏迷不醒，九月一日去世，享年67歲。高太後和哲宗哀痛異常，親臨其喪禮。司馬光被贈為太師、溫國公，諡文正。京師人民也為之哀痛，前往吊唁，店鋪都關上了門。嶺南、封州的父老也自發地進行了祭奠。
@@懸梁刺股《通鑒》乃成
熙寧四年（1071），為了避免與改革派正麵交鋒，司馬光辭去了永興軍公職後，改判西京（今河南洛陽）留司禦史台，這是一個閑官。從此司馬光便在洛陽住了15年，遠避宦海生活，主編完成了史學巨著《資治通鑒》。
司馬光從小勤奮好學，博通經史，出仕後也一直堅持讀書，尤其留心研討曆代史書。他在館閣校書以及任天章閣待製兼侍講官時，看到滿架滿架的都是史書，幾間屋子都放不下，如此浩瀚的朝野史籍，一個人就是花上一生的時間也讀不完。於是他逐漸產生了一個編寫一本既係統又簡明扼要的通史，使人讀了之後能了解幾千年曆史的興衰得失的想法。他的想法得到了他的好友、曆史學家劉恕的讚同和支持，於是司馬光便在公事之餘開始了史書的編寫工作。
在此之前的英宗治平元年（1064）三月，司馬光呈所纂《曆年圖》。不久，又進《通誌》。《通誌》共八卷，記述了從周烈王二十三年（前403）到秦二世三年（前207）共195年的曆史，主要寫秦、楚、齊、燕、韓、趙、魏七國的盛衰興亡，供皇帝參考。英宗看後，非常滿意，要他繼續寫下去，並下詔設置書局，供奉費用，增補人員，專事編寫工作。
《資治通鑒》書影不久，英宗病死。神宗繼位後，對司馬光也十分支持，他以“鑒於往事，有資於治道”，為《通誌》命名為《資治通鑒》，並親自撰寫序文，在邇英閣第一次進讀時當麵“賜序”。這樣就使司馬光完全在皇帝的親自領導下來完成這一重大的使命，使司馬光得以充分發揮他為國治史的才能和抱負。
在神宗的支持下，編修《資治通鑒》的書局很快成立了，助手由司馬光從館閣英才中選拔。但司馬光第一個選中的是時任和川（今山西安澤縣）縣令劉恕。劉恕時年才35歲，自幼聰明好學，酷愛史書，13歲通覽漢、唐典籍，18歲考中進士，其才華深為主考官所鍾愛。尤其劉恕在史學方麵有著豐富的知識，因此，當司馬光考慮書局協修人員名單時，劉恕便成了一個不可多得的人選。第二名協修為劉攽，他長期擔任州縣官，時為國子監直講。他在仕宦滄桑的一生中，除恪盡職守外，還“著書百卷，尤邃史學”。他精通六經，習知漢魏晉唐之典，在書局內負責起草兩漢部分。第三個協編是範祖禹。嘉祐八年（1063）中進士，他入書局時才30歲，長期和司馬光一同修書，不求仕途顯達，甘心默默無聞。《通鑒》修成以後，司馬光推薦他任秘書省正字。他精通唐史，深明唐三百年治亂，專修《唐鑒》，可謂唐史專家。司馬康，司馬光之子。熙寧三年（1070）中進士，進書局時年僅29歲。他敏學過人，博通群書，在書局負責檢閱文字。
書局集中了當時史學界的名家，而且既有通才，又有某一領域的專才。他們在司馬光這位甘願遠離官場、熱心修書又頗具才華，有聲望的內行領導下，誌同道合，同心協力，宋·國子監辟雍外景各把一口，精心修纂，最後又由司馬光修完成篇，這就保證了《通鑒》一書的學術水平和曆史價值。