熙寧七年（公元1073年）春天，人心惶惶的大宋遭遇了大旱，“天下久旱，饑民流離”。這對於王安石的變法，無異於屋漏偏逢連夜雨。特別是在那樣的一個把上天神靈奉作人間主宰的愚昧時代，天不降甘霖，自然地與王安石的違逆天意聯係在了一起。上天發怒了，首先焦慮的是人間的天子，“帝憂形於色，對朝嗟歎，欲盡罷法度之不善者。”神宗皇帝憂心忡忡，甚至在朝堂上長籲短歎，意欲叫停新法中不切合實際的一些條款。
而急功近利的王安石，全然不顧麵臨的社會現實情況，他對皇上說：“水旱常數，堯、湯所不免。”水澇和旱災是常有的現象，堯、湯時代也沒法避免，“此不足招聖慮，但當修人事以應之。”這種事聖上不必為之憂慮，盡管放心來幹我們該幹的事便是了。——這是理想主義者的通病，理想當前，一切現實的困難他們都能做到熟視無睹。
神宗皇帝頓時覺得王安石太不了解治國牧民之道了，太不懂政治了，天災百姓饑荒，人心必然浮動，變法舉國騷動，這其中微妙的聯係怎麼可能不存在呢？這怎麼會是小事情呢？已經有人因變法說出了對朝廷不敬的話來，一旦激起民怨如何收場？眼下從親近大臣到皇後家族，人人都在叫喊收取免行錢太重，兩宮太後聲淚俱下擔心社會****，這時候還不顧一切地蠻幹，祖宗的江山還要不要？
王安石至此仍沒有用心地去體會一國之君的所思所想，繼續為新法加勁辯解。最為無知可笑的是，他竟然因此與大臣馮京當著心煩意亂的神宗皇帝的麵爭吵不休。皇帝再也無法看好這個臣子了，原來愛卿你空有一肚子經濟策略，肩膀上卻長著一顆缺乏政治的頭腦，這時候了，還要與人爭高低。在內外壓力下，神宗皇帝不得不下詔，罷免了王安石的宰相之職，任作觀文殿大學士、知江寧府。至於新法的實施，由韓絳和呂惠卿主持擇便進行。——從這裏我們不難看出，皇帝是對人不對事的，是王安石這個人有問題，挪開這個“眾疑群謗”的關鍵人物，矛盾的視線就可以暫時得到有效轉移。
但是，神宗皇帝是不甘心的。所以我們說曆史應當為宋神宗皇帝大書特書一筆，一套新的強國策略，由於一個不稱職的變法組織實施者而弄得怨聲載道，趙頊心中五味雜陳，他咬牙更換掉眾人厭惡的王安石，他希望緩解一些內部的矛盾，然後繼續將改革事業進行下去，他多麼渴望自己能建立李世民貞觀之治的太平盛世。
臨陣換將本就出於無奈，不曾想這個呂惠卿師心自用，較王安石更加不稱職，沒多久便招來朝中大臣諸多不滿。可憐老臣都不站在變法的立場上，一時手下無兵可用，神宗皇帝又不得不再次啟用王安石，——畢竟他是始作俑者，他熟悉、他堅定。靠邊站了一年後，王安石二度主持變法。