景祐三年（1036年），範仲淹因不滿宰相呂夷簡把持朝政，培植黨羽，任用親信，向仁宗皇帝進獻《百官圖》，對宰相用人製度提出尖銳批評，並指責宰相結黨營私。勸說皇帝製定製度、親自掌握官吏升遷之事。這不啻於捅了官場的“馬蜂窩”，宰相的大批黨羽瘋狂反噬，誣蔑範仲淹離間君臣，呂夷簡反譏範仲淹迂腐，誣蔑範仲淹“越職言事、勾結朋黨、離間君臣”。範仲淹便連上四章，論斥呂夷簡狡詐，因言辭激烈，遂被罷黜，改知饒州。侍禦史韓瀆曲意迎合，列寫範仲淹同黨的姓名，奏請仁宗在朝廷張榜公示。
範呂之爭，牽連甚廣。秘書丞餘靖上書請求修改詔命；太子中允尹洙上疏自訟和範仲淹是師友關係，願一起降官貶黜；館閣校勘歐陽修責備高若訥身為諫官，對範仲淹被貶之事一言不發，蔡襄亦作《四賢一不肖》詩，攻擊高若訥，皆牽連遭貶。朝臣畏懼宰相勢力，莫敢置言。範仲淹被貶出京，竟無人敢送別，隻有獨龍圖閣直學士李紘、集賢校理王質出郊餞行。
景祐四年（1037年），呂夷簡被免除宰相之職，士大夫們接連不斷地替範仲淹辯白，雙方互相辯駁，朋黨爭論四起。仁宗詔宰相張士遜問計，下詔禁止互結朋黨。因範仲淹多次因諫被貶謫，梅堯臣作文《靈烏賦》力勸範仲淹少說話、少管閑事、自己逍遙就行。範仲淹回作《靈烏賦》，強調自己“寧鳴而死，不默而生”，盡顯為民請命的凜然大節。
據說，範仲淹第一次被貶出京，朋友們安慰他說：“範君此行，極為光耀”；第二次被貶，朋友又說：“範君此行，愈為光耀”；第三次則說：“範君此行，尤為光耀”！範仲淹聽了苦笑道：“仲淹前後三光矣”。這就是範仲淹“三黜三光”的故事。所以也有人稱範仲淹為“三光大臣”，不過這個名字不太好聽。
範仲淹的行為，有人惡毒地攻擊道：“非忠非直，但好奇邀名而已”。用時下的表達方式，就是說範仲淹不是為了堅持忠義，隻是為了嘩眾取寵，炒作自己罷了。
範仲淹這樣的做法，在精通官場哲學的人看來，簡直是愚不可及。宋代官員的侍遇異常優厚，一品官月領祿米150石，錢12萬文，算起來至少合現在一個月6萬多的工資，而且還有公用錢（相當於現在的招待費）使用，官職高的，公用錢可高達兩萬貫。宋代還在風景名勝之地修建了“幹休所”，讓高官們免費療養，這些都是公開的享受，其他的灰色收入更不必說。所以，在宋代當官，過上花天酒地的生活是沒問題的。同為仁宗年間進士的王珪，才略遠不及範仲淹，但後來竟熬到了宰相之位。這人“好”就“好”在不惹事，不“折騰”，毫無主見。史書中譏為隻知“取聖旨”、“領聖旨”、“得聖旨”的“三旨相公”。如果範仲淹稍稍收斂一點鋒芒，以他的才幹，坐上百官之首的相位也並非難事。但是，這不符合砥礪名節、惟道為行的範公性格！
範仲淹並不傻，他知道直言進諫的後果，他自己寫過：“臣非不知，逆龍鱗者，掇齏粉之患；忤天威者，負雷霆之誅”。然而，明知進諫有粉身碎骨的危險，他卻毫不退縮，一次次的“惹事生非”，在後人看來豈不是太不明智了？
範仲淹早就料到後人會這樣想，所以他在詩中寫道：“豈獨世所非，千載成迂闊”，意思是不僅當世人看不慣我的做法，千年後的人也會笑我迂腐！但多幾個範仲淹這樣的人，是社稷之福，也是蒼生之福！
治國重在治吏，範仲淹後來任樞密副使（副宰相）時，曾將一些無德無能、屍位素餐的庸官貪官盡數罷職。同事富弼看範仲淹大筆一揮，勾掉一大片官員的名字，覺得下手太“狠”，就勸道：“你這輕輕一勾，可就讓這個官一大家子人哭天喊地啊！”範仲淹說，罷了這樣的官，隻是一家哭，而如果不罷他，一州（宋代稱為路）的百姓可都要哭啊。
然而，範仲淹卻並非是那種鐵石心腸、草管人命的酷吏。起義軍張海過高郵境內，當地長官晁仲約見抵擋不住，就令百姓獻牛肉美酒，張海心下喜歡，就沒有殺掠人民。這件事朝庭得知，富弼等建議按通匪罪斬殺晁仲約。而範仲淹卻堅決反對，他說：“祖宗以來，未嚐輕殺臣下，此盛德事，奈何輕敗壞！他日主上手滑，吾輩亦未敢自保也”。
由此可見，範仲淹內心是仁慈的，他心有大愛，關心百姓的疾苦，尊重生命的價值。
範仲淹給自己的兒子起名為純仁、純粹、純禮，其實正代表了他一生所奉行的品格。而他寫給漢代高士嚴光的“雲山蒼蒼，江水泱泱，先生之風，山高水長”這幾句讚語，我們用在他自己身上，又是何等的恰當！範仲淹這種光風霽月的胸懷，令人肅然起敬。