東漢初期、中期都有激烈的反讖緯的聲音，此後讖緯就逐漸衰敗。東漢初漢光武時，反對讖緯的學者有三位。一位是鄭興，河南開封人，“少學《公羊春秋》，晚善《左氏傳》，遂積精深思，通達其旨”，受到了劉歆的讚美，曾校劉歆撰寫的《三通曆》。後做過更始帝的諫議大夫，曾勸更始帝要西入長安，被接受。又勸隗囂不要稱王，也被接受。建武六年，投奔劉秀，被徴為太中大夫，後上疏建議劉秀應“博採廣謀，納群下之策”，也被接受。後因鄭興不信讖，而不被任用。《後漢書》卷36《鄭興傳》載：
帝嚐問興郊祀事，曰：“吾欲以讖斷之，何如？”，興對曰：“臣不為讖。”帝怒曰：“卿之不為讖，非之邪？”興惶恐曰：“臣與書有所未學，而無所非也。”帝意乃解。興數言政事，依經守義，文章溫雅，然以不善讖故不能任。
鄭興免官後，“好古學”。“世言《左氏》者多祖於興（說當時學《左氏》春秋的多源於鄭興），而賈逵自傳其父業，故有鄭、賈之學。”鄭興曾作客教授《聞鄉》，後“卒於家”。
第二位反讖緯的學者為桓譚。桓譚，東漢沛國相縣人，西漢時任為郎，好音律，善鼓琴。博學多通，遍習五經。能文章，尤好古學，數從劉歆、楊雄辯析疑異，喜非毀俗儒。西漢哀、平時，位不過郎。王莽時，“譚獨自守，默然無言”。更始立，拜太中大夫。光武帝即位後，征為待詔，又因“上書言事失旨，不用。”後“大司空宋弘薦譚，拜議郎、給事中。”其時，“帝方信讖，多以決定嫌疑”。譚又上書說：
觀先王之所記述，鹹以仁義正道為本，非有奇怪虛誕之事。……今諸巧慧小才伎（技，指方技）數（指數術）之人，增益圖書（即讖緯符命之類）。矯稱讖記，以欺惑貪邪，詿誤（貽誤）人主，焉可不抑遠之哉！臣譚伏聞陛下窮折方士黃白之術，甚為名矣；而乃欲聽納讖記，又何誤也。
這段話主要意思是說：從先王留下的記述，治國都是以“仁義正道為本”。並規勸光武帝不要相信方技、數術之人，鼓吹“讖記”，即用“讖緯符命之類”的東西欺騙人，而貽誤人主。光武帝知道後，就采取：“帝省奏，愈不悅”的態度。
其後，有詔讓臣下議觀天象的靈台應當建在什麼地方？因此又發生了以下事情：
帝謂譚曰：“吾欲[以]讖決之，何如？”譚默然良久，曰：“臣不讀讖。”帝問其故，譚複極言讖之非經。帝大怒曰：“桓譚非聖無法，將下斬之。”譚叩頭流血，良久乃得解。
出為六安郡丞，意忽忽不樂，道病卒，時年七十餘。
靈台應建在什麼地方呢？帝讓臣下發表意見，又問桓譚：“吾欲[以]讖決之”，譚“默然良久”答說：“臣不讀讖。”“並極言讖之非經”。帝大怒說他“非聖無法，將下斬之”。後讓他出任“六安郡丞”。受此打擊，不久病卒，死時年七十餘。譚一生著書二十九篇，號曰：《新論》。
另一位反對讖緯的學者是尹敏。尹敏，南陽地區人。初《學歐陽尚書》，兼善《毛詩》、《榖梁》、《左氏春秋》。建武二年，上疏光武，拜郎中。其後就發生了尹敏反圖讖之事：
帝以敏博通經記，令校圖讖，使蠲（免）去崔發所為王莽著錄次比，敏對曰：“讖書非聖人所作，其中多近鄙別字，頗類世俗之辭，恐疑誤後生。”帝不納。敏因其闕文增之曰：“君無口，為漢輔。”帝見怪之，召敏問其故。敏對曰：“臣見前人增損圖書，敢不自量，竊幸萬一。”帝深非之。雖竟不罪，而亦以此沈滯。
這段話的大意是：光武帝認為尹敏博通經學與讖記，於是令尹敏校對圖讖，並要免去王莽時騎督尉崔發所著錄的“次比”。尹敏回答說：“讖書不是聖人所作，其中多有‘近鄙別字’，類似世俗之辭，恐疑誤後生。”光武帝不采納其意見。尹敏因圖讖缺文而增之曰：“君無口，為漢輔。”光武帝見而怪之，問其原因。敏回答說：“臣見前人增、損圖書，敢不自量力，所以自己就有幸增、損了一次。”光武帝深感其不對。雖然沒有判其罪，也因此不再用他。尹敏與班彪關係非常好，後三遷長陵令。其後，遷諫議大夫，卒於家。
東漢中期安帝、順帝時期也出了一位反對讖緯的人，這就是著名的自然科學家、侯風地動儀的發明者張衡。張衡，字平子，南陽西鄂縣人。張衡“善機巧，尤致思於天文、陰陽、曆算。安帝“聞衡善術學，公車特征拜郎中，再遷為太史令。漢順帝時，衡以“圖緯虛妄，非聖人之法”，乃上《請求禁絕讖緯疏》，並從曆史事實出發，證明讖緯出於哀平之際：
讖書始出，蓋知之者寡。自漢取秦，用兵力戰，功成業遂，可謂大事，當此之時莫或稱讖。若夏侯勝、眭孟（弘）之徒，以道術立名，其所述著，無讖一言。劉向父子領校秘書，閱定九流（九流謂儒家、道家、陰陽家、法家、名家、墨家、縱橫家、雜家、農家），亦無讖錄。……往者侍中賈逵摘讖互異三十餘事，諸言讖者皆不能說。……則知圖讖成於哀、平之際也。
“劉向父子領校秘書，閱定九流，亦無讖錄”。這句話是值得注意的。劉歆在新地皇四年（公元23年）與王莽同年死去的。劉向、劉歆編書“閱定九流”，即九家之言，說明當時對讖緯並不重視。賈逵東漢初期人，父徽從劉歆學《左氏春秋》，賈逵對《左氏傳》、《國語》尤有研究，明帝永平年間曾獻解釋前兩書的著作五十一篇，明帝“重其書，寫藏秘館”。和帝即位以逵為左中郎將、侍中等職，和帝永平十三年（公元101年）賈逵去世。張衡上引賈逵“摘讖互異三十餘事，諸言讖者皆不能說”，這應是賈逵反對讖緯的一種表現。在這種情況下，張衡說“圖讖成於哀、平之際”無疑是正確的。
在上述情況下，張衡建議：“宜收藏圖讖，一禁絕之，則朱紫無所眩，典籍無瑕玷矣。”這一建議的大意是說：應把收藏的有關“圖讖”的書籍，全禁絕之。這樣會讓不同顏色的東西不能迷惑人，典籍也會因此沒有汙點。這個建議送上去後，沒有結果。
這個問題一直到東漢末漢獻帝時期的荀爽、荀悅還在考證讖緯到底是不是孔子所作？荀悅在《申鑒·俗嫌》篇說：“世稱緯書，仲尼之作也。臣悅叔父故司空爽辨之，蓋發其偽也。”最後的結論是：“然則可謂八十一首（讖緯），非仲尼之所作也。”東漢的反讖緯的學者不乏其人。雖然，國家政權沒有下令反對讖緯，但反讖緯的影響是很大的。三國時曹魏政權，首次下令禁止讖緯神學，即“科禁內學（指讖緯）、兵書”，“匿不送官”，坐罪。此後，據有的學者統計，從曹魏到明代，皇帝下令禁止讖緯者共十八次。其中影響大的，如《隋書》卷32《經籍一》所載隋煬帝對讖緯的禁止：
煬帝即位，乃發使四出，搜天下書籍與讖緯相涉者，皆焚之，為吏所糾者至死。自是無複其學，秘府之內，亦多散亡。
正如有的學者所指出的那樣：讖緯之類的神學、迷信的東西，常常被人視為“旁門左道”、“妖妄”之說等等。相反人們把德治、仁義、法治則視為治國之本。
這裏要說明的是董仲舒的天人感應說與其後的讖緯是不是宗教的問題？要說明這個問題，首先要知道何為宗教？有的辭典說：“現泛稱對神道的信仰為宗教”。這句話可以說是抓住了宗教的主要內涵。也就是說宗教主要主張“神道”要有人們“信仰”才能成為宗教。這是宗教的兩個主要的條件。從這個標準來考察，董的天人感應說當然不是宗教。《史記·儒林列傳》在建元六年（前135年）董仲舒當中大夫時，寫了一篇文章名《災異之記》，其“時遼東高廟災”，“天子詔諸生示其書，有刺譏（影射朝政）”，下吏治罪當死，後赦免。從這個事實經過來考察，董的天人感應說當時沒有多少人信仰，所以根本不是宗教。
同樣，讖緯也不是宗教，前述已經說明東漢時期無論初期、中期、末期都有反對讖緯的。所以，對讖緯也談不上有什麼信仰，更談不上是什麼宗教。曹魏後到明代禁讖緯次數多到十八次之多，因此有的學者認為：統治者在當皇帝以前，常常利用讖緯為自己當皇帝製造天命，當皇帝以後就下令禁止讖緯，以防別人效法自己，危害自己統治。因此，對讖緯持什麼太度，都是統治者個人的利益、需要所決定的。因此，對讖緯也就談不上有什麼信仰！所以，讖緯也就不是什麼宗教。
後記本書是本大約二十萬字的小書，竟然寫了十年。一些個別章節曾寫成文章發表，而後才收到本書的，在收進本書時又有所修改。如：《在罷黜百家上漢武帝與董仲舒的區別》就是一例。本文先發表在《秦漢研究》第一輯，2007年1月出版。再如：《漢宣帝“霸王道雜之”與“純任德教”之爭考論》，本文先發表在《文史哲》2004年12月24日出版。在此特對出版的期刊的單位表示誠摯的感謝。