即位後，司馬炎清正廉明，用度節儉，用麻繩替代自己牛車的絲繩。
當時，有位太醫司馬程為了拍馬屁，獻上了一件雉頭裘（雉頭羽毛織成之裘，奇裝異服），司馬炎在殿前當眾燒了雉頭裘，下令以後再有違反者一律處理。
司馬炎破例提升官員，待人寬厚。
太常丞許奇是許允的兒子，司馬炎要在太廟祭祀，朝廷中議事的時候，大臣們認為，許奇的父親因罪被誅，許奇是罪犯之後，需要謹防他複仇，認為許奇不宜在皇帝身邊任職，應當委派他到朝廷之外。司馬炎卻追述許允的名望，稱讚許奇的才能，提拔他擔任祠部郎（公元254年，許允建議魏主曹芳，奪司馬昭之兵，但最終被流放致死）。
司馬炎和右將軍皇甫陶在一起論事，說著說著兩個人就爭論起來。散騎常侍鄭徽，上表請求判皇甫陶不敬之罪。司馬炎說：“正直的言論，唯恐聽不到，鄭徽逾越職位，胡亂稟奏。”便免去了鄭徽的官職。
司馬氏以“孝”治天下，司馬炎以身作則，粗食素冠堅持了三年。司馬炎還下詔令：“從現在開始，即使詔令有要求，哪怕已經獲得批準，但是在實際執行中有不當之處的，都不得隱瞞實情。”
司馬炎召李密為太子洗馬，李密因為祖母上了年紀，堅決辭讓，並寫下了著名的《陳情表》，司馬炎允許了，時人對司馬炎印象又加了分。
《陳情表》：
臣李密陳言：臣命運多舛，自幼遭遇不幸，剛出生六個月，父親就死去。四歲的時候，舅父強迫母親改變了守節的誌向（改嫁）。我的祖母劉氏，憐憫我年幼喪父，便親自撫養。臣小的時候經常生病，九歲了還不能走路。孤苦伶仃，好不容易長到成年。既沒有叔伯，又缺少兄弟，門庭衰微、福分淺薄，很晚才有兒子。在外麵沒有至親戚，在家裏又沒有照應門戶的幼童，生活孤單沒有依靠，形單影隻。祖母劉氏很早便得了重病，常年臥床不起，我照顧她吃飯喝藥，從來就沒有離開過她。
到了晉朝建立，前任太守，察舉臣為“孝廉”，後來刺史推舉臣為“秀才”。臣因為贍養祖母，故而辭謝不接受任命。朝廷又特地下了詔書，任命我為郎中，不久又蒙受國家恩命，任命我為太子洗馬。我出身卑賤，卻能擔當侍奉太子的職務，實在是以死也無以報答朝廷。我將苦衷上表朝廷，請求推辭任職。但是詔書急切，責備我怠慢不敬。郡縣長官前來逼迫我，催促我立刻上路；州府長官登門催促，比流星還要緊迫。我本想趕赴京城效力朝廷，但祖母劉氏，病情加重，我一再懇求，準許我為親情留下，可是被告之不許。我進退兩難，實在狼狽。
臣知道晉朝以孝道治理天下，凡是遺老舊臣（蜀漢官員），都能受到憐憫，況且我的孤單淒苦，更加嚴重呢。而且，我年輕的時候曾經在偽朝（蜀漢），擔任過尚書郎的職務，本來希望做官飛黃騰達，所以不顧惜名聲節操。現在我是一個亡國賤俘，十分卑微淺陋，承蒙恩寵提拔，我怎敢猶豫不決，有非分之想呢？隻是因為祖母劉氏日薄西山，奄奄一息，生命垂危，早上不知道能否活到晚上。如果沒有祖母，就沒有今天的我；祖母如果沒有我的照料，也無法度過她的餘生。祖孫二人，相依為命，因此我不能遠離她。
臣今年四十四歲了，祖母今年九十六歲了，我效忠陛下的日子還很長，報答祖母日子已經不多了。烏鴉尚有反哺之心，請準許我為祖母送終。我的辛酸苦楚，不僅僅巴蜀的百姓及益州、梁州的長官所能明白的，皇天後土，天地神明，也能明察。希望陛下憐憫我的愚昧，滿足我微不足道的心願，使劉氏能夠安度晚年。我活著，以命報效朝廷，死了，也要結草報恩。我懷著像犬馬一樣恐懼的心情，恭敬地呈上此表，稟告陛下。（完）
結草報恩：春秋時期，晉國大夫魏武子有個美麗的姬妾。魏武子剛生病時，囑咐兒子魏顆說：“我死之後，你一定要把她嫁出去。”不久魏武子病重，又對魏顆說：“我死之後，一定要她殉葬。”魏武子死後，魏顆把她改嫁。魏顆說:“人在病重的時候，神智是昏亂不清的，我嫁此女，是依據父親神智清醒時的命令。”後來，魏顆與秦將杜回交戰，兩軍正在激戰時，戰場上出現了一位老人，他結草成繩，把杜回絆倒，魏顆因此生擒杜回，秦軍大敗。當天夜裏，魏顆在夢中遇到了老人，老人對他說：“我是你所嫁的那個女子的父親，特來結草報恩。”故事意在表達知恩圖報。
李密的事跡十分感人，其實，社會中也有很多像李密一樣的人，隻不過他們沒有像李密一樣被廣為人知。李密作為孝子的典型，被晉朝作為正麵例子來宣傳，非常符合司馬氏的“以孝治天下”。
同樣以“孝”聞名的還有王祥，王祥東漢末年人士，王祥的生母早逝，繼母對他不好，多次詆毀他，甚至拿皮條抽打他，下毒酒毒殺王祥、虐待王祥的妻子。但是王祥對待繼母畢恭畢敬，十分孝順。成語“臥冰求鯉”的故事就是出自王祥，相傳王祥繼母朱氏在冬日想吃鮮魚，當時天寒，王祥脫下衣服，準備砸冰捕魚(一說臥在冰上)，忽然冰塊融化，水中跳出兩條鯉魚，王祥帶著鯉魚做給繼母吃。繼母想吃麻雀，不久就有數十隻麻雀飛進屋內，王祥捉住做給母親吃，鄰居們都認為這是王祥的孝道感動了上天。
然而，一千多年後的今日，我們仔細思考這兩則故事，真實性非常令人懷疑。砸冰捕魚，鯉魚卻自跳而出，也許是水中缺氧導致；想吃麻雀，麻雀卻自投羅網，難以置信。王祥固然孝順母親，可是當時的東漢、曹魏、西晉朝廷采用了不真實的宣傳方式，捏造了這麼個故事，便於控製百姓。不過，觀西晉後期的八王之亂，“孝”這個字，晉朝的王氏們早已經忘記怎麼“寫”了。
不僅對臣子寬厚，司馬炎對待亡國天子也很有度量。
蜀國降主劉禪死於泰始七年（公元271年），吳國降主孫皓死於太康二年（公元281年），魏國舊主曹奐死於永寧二年（公元302年），三位都得以善終，曹奐更是死在司馬炎之後。
與司馬炎的仁厚形成鮮明對比的是東吳國主孫皓。
起初，孫皓頒布了許多優撫詔書，體恤士民百姓，打開倉庫賑濟貧困之人，並把宮女遣散出去，配給那些沒有成親的人，養在皇家禦苑中的禽獸也都放歸山林，減少不必要的損耗，當時吳國人稱讚他為明主。