司馬光性情淡泊，不喜奢華。他住在洛陽西北數十裏處的一個陋巷中，隻有幾間避風雨的茅簷草舍。一到三九寒天，北風呼嘯，茅簷多被風卷去，室內冷氣襲人；盛夏，又酷熱難熬。一年冬天，大雪紛飛，天寒地凍，北風狂吼，一般有錢人家都得生火取暖，而司馬光家竟連一盆炭火也沒有，屋裏寒氣逼人。
有一天，一位東京來的客人慕名拜訪司馬光，在“客廳”裏，賓主落座，熱情交談。談了一會兒，因室內寒冷，凍得客人瑟瑟發抖。司馬光很抱歉，隻好吩咐熬碗栗子薑湯給客人驅寒。
客人喝了薑湯，身體暖和了一些，但敘談一陣，薑湯失去了作用，寒氣再次襲來，隻好起身告辭。
後來，這位客人又去拜訪學者範鎮。在範鎮家中，不僅有炭火取暖，而且擺上豐盛的酒菜，賓主頻頻交杯，消寒去冷。
前後對比，這位客人便和範鎮提起了拜訪司馬光的事，感到司馬光對人冷淡。
範鎮聽了，認真地說：“不，你不了解他。他一向崇尚儉樸，不喜歡奢華。他並不是對你冷淡，我到他家也一樣。平日，他自己連一杯栗子薑湯也舍不得喝呢！”客人聽了十分感動。
司馬光為了禦寒，就想辦法解決了房屋“夏不避暑，冬不避寒”的問題。他在房中挖地砌磚，修了個地下室。這件事傳出去後，當時的西京人流傳這樣一句話：
王家鑽天，司馬入地。
司馬光本來官高勢顯，積萬貫家財，富甲天下，是完全可以辦到的，然而，他卻如此清貧自守，不能不令時人讚歎。
司馬光為官正派，一生憂國憂民，他看到北宋人民賣兒賣女，無以為生，宗親貴臣之家卻花天酒地，揮霍無度，十分憎惡。他認為，“府庫之財，民之膏血”，必須節用開支，以舒民力。
有一次，宋仁宗趙禎向大臣們賞賜財物，金銀珠寶，絲綢絹帛，光彩奪目。大臣們個個樂不可支。
司馬光見此情景，十分反感，於是上疏皇上，指出，國家正處多事之秋，民窮國困，中外窘迫，表示不接受賞賜，他把所得珠寶交給諫院作為辦公費。
司馬光為人心地善良，經常把俸祿周濟窮困的親戚朋友。司馬光曾經遇到有一個叫龐籍的人，他死後遺下孤兒寡母，生活無著落，非常可憐。司馬光便將孤兒寡母接到家中，待他們如同自己的父母兄弟，使周圍的人深受感動。
司馬光周濟窮困之人，卻在妻子故去時，連安葬妻子的錢也拿不出，隻好把僅有的3頃薄地賣掉，安葬了妻子，盡了丈夫的責任。這就是人們傳頌的司馬光“典地葬妻”的故事。
司馬光不僅自己一生節儉，他還特別重視教育子女勤儉，他寫一篇《訓儉示康》一文教育兒子司馬康，必須養成儉樸習慣。他說：“衣服能以蔽寒，吃的能夠充饑就可以了。許多人以奢侈豪華為榮，我獨以儉樸為美德。”
司馬光還引魯國的大夫禦孫的話說：“儉是一切美德的基礎，奢侈是萬惡的根源”。
他引申解釋說：“凡是儉樸的人私欲就少，有地位的人私欲少，就不會被五光十色的物質所誘惑，就能走光明正大的道路，一般的人私欲少，就能夠自身謹慎，節儉花費，避免犯罪，發家致富。”
“所以說，儉是一切美德的基礎；奢侈，就私欲多，有地位的人私欲多，就會貪圖富貴，離開正道招來禍患；一般的人私欲多，就會多取濫用，敗家喪身。因此當官必然受賄，當平民必然偷盜。所以說，奢侈是萬惡的大根源啊！”
司馬光以其高尚道德贏得了崇高的威信，被譽為“真宰相”。田夫野老，婦人孺子，都知道有個司馬相公。
宋哲宗趙煦繼位以後，司馬光被召回京師。人們聽說司馬相公要從洛陽回來了，幾乎傾城出動，都要親眼看一看這位“大人”。
史書記載當時的情景是：
都人疊足聚觀，致馬不能行。有登樓騎屋者，瓦為之碎，樹枝為之折。
人們都以親眼目睹司馬光尊容為一生榮幸。
司馬光晚年，年老體弱，他的好友劉賢良要用50萬錢買個女婢供他使喚，司馬光當即複信謝絕，說：“吾幾十年來，食不敢常有肉，衣不敢有純帛，多穿麻葛粗布，何敢以50萬市一婢乎？”
司馬光的儉樸德行對後輩影響很大，他的兒子司馬康做官以後，也像父親一樣節儉樸素，被稱為“為人清廉，口不言財”的一代廉士。
1086年9月，在山西聞喜縣南舊夏縣涑水鄉豎起了一通高大的墓碑，上麵刻著“忠清粹德”4個大字。墓碑後麵，靜靜長眠的就是當朝宰相、大史學家司馬光。
司馬光以“日力不足，繼之以夜”的自律意識，克己做人，克己教子，克己治學，克己奉公。他的人格堪稱儒學教化下的典範，他的美德被人們萬古傳頌。