唐朝在思想意識形態領域中，奉行儒、釋、道三教並立的政策，佛、道二教為官方所承認，且由於皇帝多信佛、道，所以敢於公開反佛的人已經不多。元和十四年（819），憲宗迎佛骨，韓愈上《論佛骨表》極諫，語涉不敬，惹惱皇帝，被貶潮州。“刑部侍郎昌黎韓愈既貶於潮，浮屠之徒，歡快以忭（高興）。”韓愈倒黴被貶，佛徒拍手稱快，這是合乎生活邏輯的。但韓愈貶官後不久，佛徒中又盛傳韓愈皈依佛門了。這到底是怎麼回事呢？問題就出在韓愈和大顛和尚的交往上。
據《潮州府誌》載：“寶通，號大顛，俗姓陳氏，或曰楊姓，先世為潁川人，生於開元末年……正（貞）元六年，開辟牛岩，立精舍……七年，又於邑西幽嶺下創建禪院，名曰靈山……門人傳法者千餘人，自號為大顛和尚……長慶四年，一日告辭大眾而逝，年九十三。”據此可知，韓愈被貶潮州時，大顛已年近九十歲，在潮州建有禪院，傳揚佛教三十多年，門人上千，應該說是一位頗有名望的僧人。韓愈被貶潮州，十分苦悶和寂寞，聽說有這麼個人物，於是開始與之交往，現存於韓愈文集中的《與大顛師書》（三封），即是他們交往的證明。而佛徒們正是抓住了這一點，大造韓愈皈依佛門的輿論，世上一些不明真相的人也據此亂加猜測：是不是韓愈因諫迎佛骨被貶而改變了反佛的立場，甚至信奉佛教了？特別是士大夫中一些信奉佛教的人，更樂於打聽和傳揚此事。元和十五年（820）初，韓愈由潮州刺史改任袁州刺史，吉州（今江西省吉安市）司馬孟簡就致書韓愈，稱“有人傳愈近少信奉釋氏”。孟簡曾任檢校工部尚書，是一位精於佛典的佛教忠實信徒，對這位重量級人物的詢問，韓愈給予了十分認真地回答，他在《與孟尚書書》中先詳細澄清了他與大顛往來的事實：“有人傳愈近少信奉釋氏，此傳之者妄也。潮州時，有一老僧號大顛，頗聰明，識道理，遠地無可與語者，故自山召至州郭，留十數日。實能外形骸，以理自勝，不為事務侵亂。與之語，雖不盡解，要自胸中無滯礙，以為難得，因與來往。及祭神至海上，遂造其廬。及來袁州，留衣服為別，乃人之情，非崇信其法，求福田利益也。”首先肯定傳謠者是胡說八道，其次說明和大顛交流的理由：邊遠地區無人交談，而大顛“頗聰明，識道理”，能“以理自勝”“胸中無滯礙”，同時交代了二人往來的具體情況：韓愈將大顛召至州府，住了十多天；韓愈去海上祭神，曾拜訪過大顛；韓愈調任袁州，給大顛留了些衣服，而這些均為人之常情，並非信奉佛教。韓愈將此事的來龍去脈講得清楚明白，並且均係實情。因為韓愈雖堅決反佛，但從來不拒絕與僧人來往，如澄觀、文暢、惠師、靈師、高閑、盈上，以及還俗前的賈島（法名無本）等，都和韓愈有交往，所以韓愈在潮州與大顛和尚交往，完全屬正常情況。作為宗教，韓愈反佛；作為個體的僧人，韓愈區別情況和他們交往，這正是韓愈的通脫之處。
為了表明自己堅定的反佛立場，韓愈在給孟簡的信的最後說：“釋老之害，過於楊墨（楊子和墨子）。韓愈之賢，不及孟子；孟子不能救之於未亡之前，而韓愈乃欲全之於已壞之後。嗚呼，其亦不量其力，且見其身之危，莫之救以死也。雖然，使其道由愈而粗傳，雖滅死萬萬無恨。天地鬼神，臨之在上，質之在旁，又安得因一摧折（被貶），自毀其道以從於邪也？”這一斬釘截鐵的回答，重申了自己弘揚孔孟儒道，堅持排斥佛老的立場絕不會改變，既是對孟簡的回答和棒喝，更是對造謠生事的佛教徒們的有力回擊。
韓愈終生排斥佛老，一篇《論佛骨表》更把他定格在中國曆史上勇敢的反佛鬥士的位置上。說韓愈和大顛往來是改變了反佛立場，親近僧徒以示悔改等，確係別有用心的毀謗和中傷。至於佛門典籍《祖堂籍》中關於韓愈向大顛頂禮膜拜，言必稱“師”“弟子”等記載，更是無稽之談。