呂夷簡被範仲淹比擬為佞臣張禹，又被攻擊為“以大為小，以易為難，以未成為已成，以急務為閑務”大壞皇帝家法。他大為震怒，怒氣衝衝地到宋仁宗麵前申辯，並指責範仲淹以京城首長越職言事，又專會薦引朋黨，離間君臣。
範仲淹也不示弱，交章對訴，愈訴愈激烈，但最終沒有鬥過呂夷簡的當權集團。被以當年曾密請立皇太弟侄的理由，再度被貶黜，出知饒州（江西鄱陽）。這件事的起因是這樣的，宋仁宗已經27歲了，尚無子嗣。範仲淹可能是關心過宋仁宗的繼承人問題，因此建議他立皇太弟侄為太子。這事雖然是出自為國家考慮的至誠忠直之心，卻使宋仁宗很不高興。於是呂夷簡就從旁中傷，範仲淹再一次被貶了。
有一位叫韓縝的侍禦史，為了迎合呂夷簡的意思，擴大打擊範圍，奏請將範仲淹朋黨的名單公布於朝堂，戒百官不得越職言事。這個建議馬上獲得采納。“朋黨”是皇帝最避諱的事情，宋朝的臣子被指為朋黨，範仲淹及其支持者算是第一遭，並引起為期不短的朋黨之爭。
範仲淹被貶斥的消息公布之同時，京城也因為“朋黨”兩字的出現，而陷入緊張氣氛中，士大夫都畏懼當權的宰相，深恐被牽連成為範仲淹黨人。因此，範仲淹要離開京城時，沒幾個人敢去送行。唯天章閣待製李紘、集賢校理王質兩人帶酒前往餞行。
王質還單獨留下來與範仲淹說了好幾個晚上的話，有人因而譴責他。他卻說：“像範希文這樣的賢者，能夠與他成為朋黨，那是我的幸運！”王質向來明辨忠奸，嫉惡如仇。他曾經在蔡州為官，州內百姓為唐朝時曾在該地為亂的蔡元濟立廟，王質知道後很不滿地說：“安有逆醜而廟食者？”當即下令毀掉，改立狄仁傑及奉命討平蔡元濟的李愬，供百姓奉祠。他被指為範仲淹黨人時，深以為榮。
還有幾位任職於館閣的官員，上書為範仲淹辯護。他們全被打為範黨，並且同樣遭到貶斥的命運。
秘書丞、集賢校理餘靖上書，他說，範仲淹以前為太後上壽及廢後案勸諫陛下，陛下猶以其合於典禮而加以優獎。現在刺譏大臣，卻重加譴責，實在是前後矛盾。如果他所說的話，陛下聽來不順耳，其實聽與不聽都在陛下，怎可加以怪罪？漢朝的時候，汲黯在朝廷說公孫弘多詐；三國時代，張昭論將，說魯肅為粗疏，結果漢武帝和吳主還不是都予以任用而無所猜忌？陛下親政以來，曾三度罷斥言事者，恐非太平之政，請速改前命。結果餘靖次日就被貶監筠州酒稅。
太子中允、館閣校勘尹洙也上言說：“臣嚐以範仲淹正直信實、有原則、有操守，可說是良師益友。自從他獲罪以來，朝中有人說臣也曾被他薦論過，依照朋黨的說法，臣也算是範仲淹黨人。現在他既然以朋黨得罪，則臣也應當連帶受罰才合理。所以，請讓臣隨從範仲淹一同貶黜，以明典憲。”呂夷簡見尹洙竟然自願、自請與範仲淹一起被貶，不禁大怒，就降他為崇信軍節度掌書記，監郢州酒稅。
此時，歐陽修也被卷入到這次爭辯中來。他認為範仲淹平生剛正，通古今，朝廷中無與倫比，現在居然遭到這種下場，諫官難辭其咎。所以他責怪右司諫高若訥，身為諫官，竟不能辨別範仲淹的無辜。他嚴厲地譴責高若訥這個諫官“不複知人間有羞恥事”，還有什麼麵目見天下士大夫？又怎麼配成天出入朝中稱“諫官”？為此，高若訥暴跳如雷，他把歐陽修罵他的信送到朝廷告了歐陽修一狀。
他說：“範仲淹貶職之後，臣遵奉諭旨，不敢妄加營救。現在歐陽修竟如此責備臣，說天子與首相隻因臣下違逆其意而驅逐賢人，臣不諫不當。但臣以為，賢人者，國家賴以為治平者，如果陛下果真是隻因賢人違逆陛下之意就加以驅逐，臣確實當諫；或者首相也以同樣理由驅逐賢人，臣也當爭。可是那範仲淹，因為以前論事切直而被進用，現在口發狂言，自取其辱，豈可說他是無辜？若讓歐陽修這種論調流傳出去，恐怕天下人聽了，都真以為天子會因為臣下違逆其意而驅逐賢人，這樣一來，損失可就大啦！所以無論如何，應懲治歐陽修來予以訓誡，免惑眾聽。” 於是，歐陽修被貶為夷陵縣令。
當時擔任洛陽留守的蔡襄，根據這件事，寫成《四賢一不肖詩》。四賢指的是範仲淹、餘靖、尹洙及歐陽修，不肖指的就是高若訥。據說，這首詩寫成後，京城內人人爭相傳抄，一時洛陽紙貴，連正好來訪的契丹使臣也買了一份帶回契丹。
在這次牽連甚廣的政治鬥爭中，範仲淹由一個人的抗爭變成一個群體的抗爭。他引發士大夫“矯勵尚風節”的運動，又進入另一個高潮。