更有禦史，搬出了神話小說《西遊記》來作論據了。說當年孫悟空大鬧天富之時，打倒了玉皇大帝的一瓶墨水，結果普天之下降了三十三天黑雨，連續三十三天的傾盆大黑雨，還不是災難麼？繪聲繪色的，好像當年孫悟空大鬧天宮之時，這位禦史大人在場參與了一般。因為朝中大臣的反對，修築鐵路之事，自然束之高閣。
卻說郭嵩燾，聽了這些達官貴人的無稽之談，真是哭笑不得。雖說他終因洋務之說而得罪朝廷被丟官，卻是始終不悔，“區區一時之毀譽，其猶飄風，須臾變滅，良亦無足計耳”。
回到故裏，一方麵講學於省城書院，一方麵卻繼續宣傳他的洋務思想：
“竊論富強者，秦漢以來治平之盛軌，常數百年一見，其緣由政教修明，風俗純厚，百姓家給人足，樂於趨公，以成國家磐固之基，而後富強可言也。施行本末，俱有次第，然不待取法西洋，而端本足民，則西洋與中國同也。國於天地，必有與立，亦豈有百姓困窮，而國家自求強富之理？今言富強者，一視為國家本計，與百姓無與。抑不知西洋之富專在民，不在國家也。”
郭嵩燾貶官家居十年後，被再度起用，做了欽差大臣、駐法公使，官職雖升了，然而在朝中的聲譽卻是每況愈下，盡管他的出任公使一職，乃朝廷欽點，亦是沐浴聖恩，然而在其親友和朝中權貴看來，卻好像並不是皇恩浩蕩，而是朝廷欽點的一個“鬼子”，一個“瘟神”似的。首先是親友的規勸，讓其拒旨，甚至幫其出主意想辦法，要他作了辭呈，請求終製，以回籍養老。
且說湖南的鄉親士民，聽了郭嵩燾被光緒皇帝欽點了“鬼子”，有些想不通，當年馳騁沙場、運籌帷幄、決勝於千裏之外的郭嵩燾，此刻就成了一個紅頭發藍眼睛的“鬼子”了。
消息傳到湖南之時，正值湖南鄉試，三湘學子數千之眾，雲集省城。這時寧鄉紳士一個喚做崔暕的，邀了幾個學生，製作了一些傳單，訛言洋人將至湖南，郭侍郎嵩燾，被皇上欽點成了“鬼子”、“洋人”，將使英吉利。
這崔暕，實乃湖南反對洋教最力者，他早年就讀於嶽麓書院，參加鄉試，中了舉人後，數次參加會試，卻終是敗北，京師敗北以後，無意功名，於家開館授徒，教授程朱、孔孟之學。
再說西洋之國用堅船利炮打開中國大門以後，首先是向中國輸入了鴉片，林則徐虎門銷煙以後，這輸入鴉片的方案，看來難以收到預期的效果，乃改變了戰略，改鴉片的輸入為宗教的輸入。是時中國內地教堂林立，這些傳教士在中國的國土上，肆意說教，大有要把中國傳統的孔孟之學擠出國門的勢頭。所以國內到處發生燒毀洋人教堂案。早在曾國藩作直隸總督之時，曾國藩盡管傾心洋務，但對有如洪水猛獸的“歐風美雨”也不得不心抱悲傷，於是作“勸學篇示直隸士子”，將為學之術概括為“義理、考據、辭章、經濟”，苦口婆心，勸告士子，在熱心西學的同時，不要忘了祖宗的傳統——孔孟儒學。然而，當天津士民一把大火燒了天津教堂之後，曾國藩卻終是“曲全鄰好”，表現出十足的奴才氣息，為了討好法國，竟不惜以國人的鮮血做了代價。曾國藩的所作所為，自然激起了國人的憤怒，特別是湖南人，不管你是一等毅勇侯也好，直隸總督也罷，很不客氣地砸了曾國藩題寫在京城湖南會館的匾額，甚至聲言要開除他出同鄉會。數十年後，崔暕還一直謾罵，以曾國藩的所為編了故事，講給他的學生聽呢！
崔暕聽到郭嵩燾將出使西洋的消息後，趁了鄉試的機會，邀了幾個學子，印製了一些傳單，訛言洋人將至，聖教難保，甚至訛言，中國將廢孔孟聖教了，科舉不久也將廢止，會試同樣不會再舉行，而是要學洋人，興西學，崇洋教了。崔暕的這些言論，自然激起了這些舉子們的憤激，盡管這些舉子尚未成為真正的舉人，以後是否能中進士，尚未可知，但要廢除孔孟聖教，豈不是對他們的一種侮辱，也就嘩然。他們找不到其他別的理由，卻把所有的憤怒發泄到郭嵩燾的頭上，自從郭嵩燾被欽點“鬼子”、“洋人”以後，沒有誰將他當作英雄了。