元祐年間的蜀、洛黨爭畢竟屬於書生意氣之爭，程頤雖被貶官，但並未遭到太大的迫害。
此後，程頤數次上書辭職，請求放歸故裏，皆未得到允許。元祐七年（1092年），程頤為父親丁憂期滿，禮部侍郎兼侍講、曾與司馬光同修《資治通鑒》的弟子範祖禹屢次向皇帝進言，讚揚程頤的學識，請求給程頤進朝中複以學職。但因執政的蜀黨黨首蘇轍加以阻撓而未果。其後又因“有怨望輕躁語”而被監察禦史董敦逸彈劾，遂被授管勾崇福宮。
盡管在政治上遭受打擊，但程頤並未放棄自己的追求，仍堅持窮理、著述與授徒。
屋漏偏遭連夜雨。正在此間，他的幾個得意弟子李籲、劉絢、呂大臨等接二連三地英年早逝，如此白發人送黑發人，這對於他來說簡直是致命一擊。在《河南程氏文集》卷十一收錄的《祭劉質夫文》、《祭李端伯文》、《祭楊應之文》、《祭朱公掞文》中，記錄了他極度悲傷的心情。
悲痛過後，程頤重新振奮起精神，招收了尹焞（字和靖）等新弟子，與楊時、謝良佐、遊酢等一起繼續從事傳經布道的事業。
緊接著，朝廷的政局就像棋局一樣，說變就變。等到薦引程頤的一派人的失勢，程頤也就跟著倒楣了。或者他的一些奇特的令人非議的行徑，給反對派提供了口實，把帳算在舉薦他的一派人頭上。
形勢發展得愈來愈嚴峻。元祐八年（1093年）九月，高太後去世，哲宗親政，次年改國號“紹聖”。
新皇帝是一位可能有某種心理生理缺陷的18歲皇帝，他早已把昔日老師程頤的話忘得一幹二淨，竟然再次起用章惇(字子厚)、蔡卞（蔡京之弟，熙寧三年兩兄弟同科舉登進士第）等變法派人士，全麵恢複變法新政，嚴酷打擊元祐黨人，前後曆時六年有餘。
以王安石事業繼承人的姿態，出現在帝國政壇最高層的章惇宰相，原是蘇軾簽判鳳翔時結交的朋友,當時任商州令,他性格狂放,膽大妄為,而又誌向高遠,和蘇東坡脾氣相投，兩人因此有過一段同遊同飲的好日子。
元祐年間，蘇東坡知貢舉，陰錯陽差，錄取了章惇的兒子章援為第一名，這樣，他和章家又多了一層關係。
可是，誰也想不到,章惇竟然成了蘇軾的後半生的噩夢。當年的小吏搖身一變為握人生死於掌上的權相，自尊惡化為自大和專橫，朋友變成的敵人。因為相知甚深，關注得格外細膩，整治起來自然整治得格外有“雅趣”——
羅大經在《鶴林玉露》說，“蘇子瞻（蘇軾,字子瞻,號東坡居士)謫儋州，以瞻與儋字相近也。子由（蘇轍,字子由)謫雷州，以雷字下有田字也。黃魯直（黃庭堅，字魯直,自號山穀道人,又號涪翁）謫宜州，以宜字類直字也”。所有這些，都是章惇出的餿主意，鬧了一出貓捉老鼠的惡作劇。
接下來，蘇東坡謫居惠州時，他對這一切安之若素。盡管身處遭人唾棄的嶺外之地，也不因此而喪誌，仍舊悠然地過著清貧的生活。他常常以詩言誌，其中有兩句詩雲：“為報詩人春睡足，道人輕打五更鍾。”哪知，此詩傳至京師，章惇又不高興了，嫌蘇東坡在逆境中太“快活”，就再貶他到昌化。
與此同時，章惇還不計後果、不留餘地地整治政敵，甚至正式提出，要將司馬光的墳墓掘開，暴骨鞭屍；製訂了一整套摧殘元祐黨人及其子女後代的計劃。是他的同黨警告他不要開這種先例，免得冤冤相報時，他才勉強放棄了這個黨同伐異的駭人念頭。
朋友尚且如此，程頤的境遇就更慘了。到了紹聖四年（1097年）十一月，程頤再遭劫難，被流放到涪州“編管”。宋代官員得罪，輕者送某州居住，稍重曰安置，最重曰“編管”。所謂“編管”是在指定之地，受地方官管製，不得自由行動。當時的涪州(今重慶涪陵市)，宋屬夔州路，州治涪陵，轄三縣。
聖旨下達後，昔日司馬光舉薦的尚書左右丞、時任西京（洛陽）知府李清臣惟恐牽連自己，於當天就奉命強迫遣送程頤，就連程頤提出回家告別叔母也不允許。
不過，臨行前，李氏見程頤如此寒酸，乃贈送他一百兩銀子，卻遭到了程頤的斷然拒絕。
程頤先從旱路到山城重慶，再沿長江下行120公裏，就是涪州的小山城涪陵了。
他放眼望去，發現與這個依山傍水的小山城隔江相望處，有一個叫北山坪的北岩。
出於好奇，程頤特地從涪陵城的長江岸邊登上過江小船，木船在槳聲裏劃開江水，撩開江霧。從船上向北眺望，北岸紫氣蒸騰，隱現點點神秘。
隨著船夫靠近岩岸，岩壁上數十幅古代摩岩石刻閃入眼簾。經詢問才知，這裏從唐代開始便興建了一批佛寺和書院，代代續傳，形成了涪陵文化的發祥地。
小船靠岸後，他們一行沿羊腸山路向上攀登，約一個時辰，才爬上了北岩。
在砂岩上竟有一座石窟！它背靠岩壁，麵向長江，頗為幽靜。
程頤站在洞口，放眼長江，盡管進入冬天，草枯葉黃，淒風陣陣，江水清淺，心中不免有點感傷。好在冬天水落石出，江心的白鶴梁顯現出來，而江對麵小城周圍古木參天，烏楊樹麻柳樹密集成林，倒也有不少的趣味。
白鶴梁是長江江心西側一道天然石梁，全長1600米，寬約15米，自西向東順江延伸。鑒湖卻是石梁攔出的江水，平靜如鏡，與另一麵的奔流形成鮮明對照。
進而，程頤想，若是夏天站在這裏，眺望夕陽下滾滾東逝水，或許又可以激發起自己的治學靈感。於是，他心裏說：若是在如此的仙境治易，豈不快哉。
隨後，他轉身看了看，隻是石窟洞口過於窄小，人不能進，洞內也需要整修方能居住。程頤就與身邊的弟子譙定等商量，大家決定一起動手鑿洞，以洞為家。
經過弟子們的努力和附近山民的幫助，經過一番整修，人側身可穿過洞口，洞內的高度與寬度均達到4米，深也有2米多。
接著，他親自潑墨揮毫，在門額上題寫了“點易洞”三個正楷大字。於是，此處便成為他治學的理想之所了。
在接下來的三個年頭裏，盡管他慘遭厄運，而且這種無情打擊還累及於他的子孫和學生。但他仍然以一個學者的責任感孜孜不倦地在“點易洞”中著述。他深情地寫道：
“現在農夫冒著嚴寒、酷暑和大雨，深耕除草，播種五穀，我可以拿來吃；各行各業的技術工匠，製作器物，我可以拿來用；武裝的兵士，身披堅甲手拿利器，以守衛疆土，我能夠平安無事。我這種人沒有什麼功勞恩澤貢獻給別人，而虛度光陰，安心做天地間一條蛀蟲，惟有整理聖人遺留下來的書，或許對別人有些裨益吧。”
於是，他數年如一日，以誠敬之心，用他的如椽巨筆進行《伊川易傳》、《春秋傳》等巨著的寫作。《同治重修涪州誌》記載了程頤在此間的活動，該誌雲：
“渡江老殳，涪陵人。伊川先生謫涪，渡江，中流，舟瀕覆，人皆哭，伊川獨正襟危坐如常。及岸，老殳問曰：‘當船危時，君正坐，色甚壯，何也？’伊川曰：‘心存誠敬耳。’”
直至元符二年（1099年）正月，其傳世之作——《伊川易傳》才脫稿。
程頤治《易》，推崇王弼、胡瑗、王安石三家，其所著《伊川易傳》繼承了王弼的性理傳統。他在《易傳》的《序》中說：
“《易》，變易的意思，隨時變易以服從道的意思。它作為一部書，內容廣博一切都包含，是要理順人性與天命的道理，貫通看得見和看不見的事情之間的因果關係，窮盡萬事萬物的真實情況，而顯示開通民眾的心誌、成就天下事業的方法。聖人們為後世操心，可以說極為周到了。現在離開古代雖然久遠，聖人遺下的經典還在，但是先前的儒者不理解其本意，而隻把其言論傳下來，後來的學者隻知道背誦這些言論而忘記其深長的意味，從秦朝以後，其本大概就失傳了。我出生在千年之後，為這些人文內容的湮沒不彰而悲傷，要使後人溯流而上找到源頭，這就是我寫作《易傳》的原因。”