劉太後死後，範仲淹才被召回朝廷，任右司諫。有了言官的身份，他上書言事更無所畏懼了。明道二年（公元1033年），京東和江淮一帶大旱，又鬧蝗災，為了安定民心，範仲淹奏請仁宗馬上派人前去救災，仁宗不予理會，依舊在宮中過著奢華的生活。範仲淹十分氣憤，冒著觸犯龍威的危險質問道：“如果宮中半日不食會怎麼樣？現在許多地方百姓沒有飯吃，怎能置之不理？”說得仁宗無話可答，隻好派他去江淮一帶安撫災民。範仲淹每到一地就開倉賑濟，並且免除了災區的一部分賦稅。為了勸戒揮霍人民血汗的皇室，他還把饑民吃的野草帶回來獻給仁宗，並請他轉給妃嬪貴戚們看，讓他們知道老百姓過的是什麼日子，不要過分奢侈。
範仲淹這樣大膽地諫諍，震動了整個朝廷。當時北宋政權把持在以宰相為首的大官僚手中。他們玩弄權術，排斥異己，千方百計地維護自己的既得祿位，隻想保持現狀，反對任何改革，更害怕別人批評，對範仲淹的耿直十分惱火。就在這年冬天，呂夷簡利用後妃爭寵的矛盾，慫恿仁宗廢掉了對他不滿的郭皇後。範仲淹上書堅決反對，反被呂夷簡借皇帝之手貶出了中央。直到兩年後，由於他在蘇州治水有功，才又被召回朝廷。範仲淹剛一回來，呂夷簡就派人暗中警告他：“你現在的職務是侍從官，不是言官，用不著你多費口舌去議論國政。”範仲淹聽出話中的深意，理直氣壯地答道：“議論國事正是侍臣的職責，我怎敢不盡力呢！”
呂夷簡知道範仲淹不好對付，又想將他擠走。當時京城開封府是最複雜難治的地方，呂夷簡故意派範仲淹去做開封知府，想用紛繁的事務纏住他，使他無暇上書言事，並打算趁他稍有差錯時立即罷免。沒想到範仲淹一到任就大力整頓官僚機構，剔除弊政，把工作安排得井井有條，僅僅幾個月，號稱繁劇的開封府就“肅然稱治”。城中流傳著一首歌謠道：“朝廷無憂有範君，京師無事有希文。”呂夷簡煞費苦心安排的詭計未能得逞，反而大大提高了範仲淹的聲望。
範仲淹看到呂夷簡等大官僚互相勾結，朋比為奸，將自己的親信、黨羽安插在要職上，對這種陳腐汙濁的空氣十分痛恨。景祐三年（公元1036年）範仲淹把京官晉升情況繪製成一幅百官圖交給仁宗看，指明哪些人是按規定升遷的，哪些人是宰相以私人關係提拔的，對呂夷簡任人唯親培植私黨的行為進行了毫不留情的揭露。呂夷簡知道後，惱羞成怒，忿恨地對仁宗說：“範仲淹不是諫官，不該越職行事，他中傷我正是要挑撥我與陛下的關係，以便他交接朋黨，蒙蔽陛下。”仁宗一向沒有多大主見，聽信了讒言，將範仲淹貶至饒州（今江西鄱陽）。
範仲淹這次遭貶，在朝廷上掀起一場軒然大波。許多正直的官吏早就不滿呂夷簡堵塞言路，排斥異己的做法，一聽說範仲淹又被罷黜，都非常憤慨，集賢院校理餘靖立即上書說：“範仲淹指責宰相的過錯，有什麼錯？朝廷三次罷免這樣敢於直言的人，今後誰還敢再說話？望陛下收回成命。”館閣校勘尹洙、歐陽修也相繼為範仲淹鳴不平，並激烈地抨擊呂夷簡一夥。一時間朝廷上形成了陣線分明的兩派。呂夷簡看到這些下級官吏也敢公開責罵自己，更加火冒三丈，便慫恿仁宗把餘靖、尹洙、歐陽修等指為朋黨，一起貶出了朝廷。這還不算，又在朝堂上貼出榜文，禁止百官越職言事，公開壓製輿論。這就是北宋曆史上的“範呂黨爭”，宋朝的黨爭就是從這時開始的。這種黨爭是北宋統治階級內部的衝突，但是以範仲淹為首的一批官吏反對大官僚集團因循守舊的腐敗統治，主張選賢任能、安撫人民、革新政治，這在客觀上是有進步意義的。因此得到人民的同情和部分封建大夫的擁護。
範仲淹雖然三次被貶，名望卻越來越高。第一次外貶時，親朋們一直把他送到都門外，稱讚他說：“此行非常光榮。”第二次外貶時，同僚們又來為他送行，鼓勵他說：“此行更加光榮。”第三次被貶仍有人不顧呂夷簡的威脅恫嚇去送別，並安慰他說：“此行尤其光榮。”範仲淹聽罷大笑道：“仲淹前後已是三光了。”
景祐三年深秋，範仲淹乘船去饒州上任。他如今雖已年過半百，但仍壯心不已，決心要成就一番事業。
龍圖老子抗擊西夏
對於北宋的邊防來說，來自北邊的威脅主要是遼，來自西邊的威脅主要是西夏。宋仁宗寶元元年（公元1038年）冬天，宋朝西北邊境局勢突然緊張起來，黨項族首領李元昊建國稱帝的消息震撼了宋朝朝廷。元昊自稱皇帝，建國號大夏，意味著宣告中止對宋的臣屬關係。宋朝聞訊後於次年下詔削除元昊官爵，斷絕貿易。一時間，西北地區戰雲密布，一場戰爭即將爆發。
西夏的突然挑釁，使宋朝措手不及，朝廷上有的主攻，有的主守，吵成一團，宋仁宗也舉棋不定。邊境上由於三十多年無戰事，宋朝邊防不修，士卒多未經戰陣，平常又缺乏訓練。步兵攜帶武器和口糧，走幾十裏就氣喘噓噓，騎兵中有的不會披甲上馬，射出的箭在馬前一二十步就落了地。帶兵的將帥也多是皇帝的親戚故舊，根本不懂軍事，再加上將領更換頻繁，軍紀鬆弛，所以當時人評論：“以屢易之將，馭不練之士，故戰則必敗。”