正當司馬光懷著遠大的抱負，準備大展宏圖之時，他的母親不幸病逝了。按照封建禮教，他必須辭官回家服喪3年。
在此期間，北方黨項族人李元昊稱帝，建立了西夏國，並同宋王朝發生了戰爭。宋仁宗為了加強軍事防禦力量，要求兩浙添置弓手，增設指揮使等官職。司馬光認為這樣做，並沒有什麼好處。於是草擬《論兩浙不宜添置弓手狀》，從各方麵闡述添置弓手增設武官的弊端。
司馬光服喪結束後，簽書武成軍判官，不久又改宣德郎、將作監主簿，權知豐城縣事。在短短的時間裏，就取得“政聲赫然，民稱之”的政績。
後來，司馬光又調任國子學直講，任館閣校勘，同知太常禮院，龍圖閣直學士等職。
隨著司馬光職位的升遷，有不少人想通過他撈些個人好處。為避免此類“人情”，司馬遷在自家客廳內貼了一張告示，以示造訪者。
告示寫道：
凡來者若發現我本人有什麼過失，想給予批評和規勸，請用信件交給我的書童轉我，我一定仔細閱讀，認真反思，堅決改正；
若為升官、發財、謀肥缺，或打算減輕罪名、處罰，請一律將狀子交到衙門，我可以和朝廷及中書省眾官員公議後告知；
若屬一般來訪，請在晤談中，休提以上事宜。
司馬光有一位老友從河北到了當時的京城開封，以父母無錢安葬，弟妹嫂侄需要撫恤為由，開口就向司馬光要萬錢。
對此司馬光回信一封說：“我司馬光一貫小心謹慎，簡樸為官，一分一毫也不敢妄取於人，食不敢常有肉，衣不敢純衣帛，視地而後敢行，頓足然後敢立，連親屬故舊都拿不出錢來幫助，哪來的錢給您啊!”
司馬光同禮部尚書張存三之女結婚後，常常不進臥室，獨身在書房裏過夜，而且頭枕木枕。夫人十分不解。
司馬光說：“我怕自己隻圖享受，忘了國家的憂患；隻圖當官，忘了百姓的疾苦。便讓木匠用圓木給我做了枕頭，它一滾動，我就會醒來。然後靜坐，想想當天哪些事情沒有辦好，以便第二天補救。”
夫人聽了十分感動，說：“既然夫君為國分憂，我情願守一輩子空房！”
這就是後來《宋史》上有名的司馬光“頭懸警枕，憂國憂民”的故事。
司馬光做官幾十年，隻在洛陽有田三頃。司馬光的夫人張氏伴隨他46年，夫人去世後，家裏沒錢辦喪事，兒子司馬康和親戚主張借些錢，把喪事辦得排場一點。
可是司馬光不同意，並且教訓兒子處世立身應以節儉為可貴，不能動不動就借貸。最後，他還是把自己這塊地典當出去，才草草辦了喪事。
在司馬光看來，節儉不僅是一種生活態度，更是一種美德，奢侈也不隻是陋習，更是一項罪惡。做人當以儉為本、以儉為美、以儉為上；為官要正世風、政風、民風，當先正家風。
司馬光曾給兒子寫信說：“我們家本來就是清寒的，清白的家風代代相傳。至於我本人，從來不喜歡豪華奢侈。小時候，大人給一件華美的服裝，就不願意穿；考中進士後，別人戴花，自己也不願意戴；隻是出於對皇上的尊崇，才不得不勉強插戴一枝。我認為，平時穿的能夠禦寒、吃的能夠飽腹，也就行了。但是，許多人卻嘲笑我寒酸。對此，我從未後悔過。”
司馬光居官多年，卻清正自守、克己奉公，其對物質生活的態度，令人感歎。他曾經在一篇文章中這樣寫道：“由儉入奢易，由奢入儉難。”司馬光一生正是按此來要求自己的。