長安三年（703）九月，張昌宗忽然向武則天控告宰相魏元忠和司禮丞高戩在私下議論，說皇帝已經老了，不如侍奉太子久遠。武則天問張昌宗：你是怎麼知道的？張昌宗說是張說親耳聽見的，然後告訴他的。張說是當年武則天殿試時錄取的第一名，武則天一向比較高看他，視他為自己的心腹。武則天一聽還有人證，也就信了，下令將魏元忠和高戩抓起來審問，魏元忠到死不承認。不承認好辦，武則天說，那就明天上朝時當堂對質。這下，張昌宗和張易之兄弟樂了，要知道張說也是這《三教珠英》編輯部裏的成員，是二張的屬下，而且二張早就給張說說了，隻要他出庭作偽證，就幫他升官。
第二天上朝時，氣氛相當緊張，因為這個案子不僅涉及到宰相魏元忠，如果罪名成立，還涉及到太子李顯。武則天下令宣張說進殿，張說剛往裏走，大臣們就把他圍住了，其中一個叫宋璟的大臣拉住了他的手說：“名義至重，鬼神難欺，不可黨邪陷正以求苟免，若獲罪流竄，其榮多矣。”意思是要注重自己的名節，你的一舉一動都逃不過鬼神的眼睛，千萬不要黨附奸佞，陷害好人。若因此而得罪皇帝，被流放外地，這也是件青史留名的幸事。宋璟剛放手，大名鼎鼎的史學家劉知幾又握住張說的手說：“無汙青史，為子孫累。”這話等於是在威脅張說，書寫曆史的筆握在我手裏，你若敢作偽證，我就把這件不光彩的事寫進曆史，讓你世世代代蒙羞。
張說是個聰明人，當然識大局，知大體，也知道二張有幾斤幾兩，若沒有武則天罩著，兩人很快就會完蛋，怎麼能跟這樣的人混呢？
張說進殿了，武則天就問魏元忠口出狂言時他是否在場。張說沒有立即回話，這下魏元忠急了，說：“難道你張說也要像張昌宗那樣想陷害我嗎？”張說皺了皺眉說：“魏公身為宰相，如此說話，有失風度吧！你知道我要說什麼嗎？”
張說的話音剛落，張昌宗又在一邊急了：“你快說呀，趕快把你那天聽到的說出來！”
這時，張說望著武則天說話了：“陛下，這個場麵您看見了，在陛下麵前，當著文武百官的麵，張昌宗尚且如此逼臣，可見他在背後是多麼囂張！我從來沒有聽見魏元忠說過陛下什麼，是那張昌宗在背地裏逼我做偽證，但我不能違背良心，必須實話實說。”
張昌宗一聽就傻眼了，旋即脫口而出，說張說和魏元忠一同謀反。此語一出，滿朝嘩然，你張昌宗剛才還說張說可以為你作證，現在又說他跟魏元忠一起謀反，簡直是信口雌黃。於是，有人就問張昌宗：你憑什麼說張說和魏元忠一起謀反？
張易之說他親耳聽到張說對魏元忠說：“魏公，您就是當今的伊尹和周公。”
看來，沒文化的人真是吃虧呀。聽張易之這麼一說，張說馬上就笑了，接過他的話茬說：“陛下當年任命魏元忠為相時，微臣確實前往祝賀過，希望他向伊尹、周公學習，臣之所以希望他做伊尹、周公，是因為伊尹輔佐商湯成就了商朝的基業，而周公輔佐成王開創了成康盛世，他們都是千古忠臣。陛下任命宰相，要是不希望他們學習伊尹、周公，還讓他們學習誰呢？微臣希望魏元忠做當代的伊尹、周公又有什麼錯呢？”二張兄弟一聽，又一次傻眼了，張說不管這些，馬上變得慷慨激昂起來：“微臣豈不知道二張氣焰熏天，若是依附他們，微臣就能當上宰相；若是同情魏元忠，微臣可能就要人頭落地。可是，神靈在上，微臣不敢附和小人！”武則天是明白人，看到這個場麵，知道二張被張說給耍了。雖然二張誣告魏元忠和高戩謀反的罪名不成立，但武則天很不痛快，覺得自己的權威受到了挑戰，斥責張說是個反複無常的小人，將其一並治罪。於是，魏元忠被貶為縣尉，張說和司禮丞高戩被流放嶺南。
事情鬧到這步，大家就都不爽了。二張兄弟四麵樹敵，先是得罪了太子，現在又得罪了大臣，而且還把另一個實力派人物太平公主給得罪了，因為司禮丞高戩是太平公主的情夫。更為重要的是，魏元忠這個案子壞了武則天的心情，她從洛陽回到長安，本來是想在這兒實現政權交接，而魏元忠這個案子使她感覺到無論是太子還是大臣，都在暗地裏跟她叫板兒。自己的權威受到了挑戰，這是她不能容忍的，母子關係、君臣關係又變得緊張起來。
長安三年（703）十月，武則天下令：文武百官隨自己重返洛陽。這是一個很不好的信號。太子感到不快，群臣感到不安，所有的人都認為這是二張兄弟在從中搞鬼。那些正直的大臣認為，若不將二人除掉，天下將不得安寧。
回到洛陽之後，朝廷很快分成兩派：一派依附二張兄弟，形成擁張派。擁張派主要由奉宸府中的文人墨客、朝中的一些文人官僚，如宰相李迥秀等，以及以武三思為代表的武氏子弟，加上張昌宗、張易之兄弟本來就身居高位，又有武則天罩著，聲勢頗為浩大。
一派擁護太子，反對二張兄弟，是為倒張派。倒張派主要有太子李顯、相王李旦一派勢力，以及朝廷司法部門，包括大理寺、禦史台、刑部等部門，其中最傑出的衝鋒陷陣人物是進士出身的禦史中丞宋璟。
兩派勢同水火，互相爭鬥。從表麵上看，擁張派實力要強大一些。但是，倒張派成員更幹練一些，最重要的是他們得到了群眾的支持。
武則天剛從長安回到洛陽，洛陽的百姓就行動起來，表明自己倒張的立場。由於二張整日待在宮裏，他們就拿其弟張昌邑開刀。一天，張昌邑剛剛起床，看門的就慌慌張張跑來報告，說大門上被人寫了一行字：“一日絲能作幾日絡。”意思是看你小子還能橫行到幾天。張昌邑氣急敗壞之餘，趕緊讓人擦去，吩咐看家護院的人晚上盯緊一些，看是誰幹的，一旦發現，立即給我抓起來。護院的人戰戰兢兢，一夜寸步不離，可是第二天早上，那行字又出現了，天天如此，擦掉了又出現。張昌邑沒有辦法，索性不擦了，在那行字後麵添了四個字：“一日亦足”。擺出一副我是流氓我怕誰的架勢。可見，民意對二張是很不利的。
群眾的覺悟那麼高，司法部門的官員自然不甘落後。長安四年（704），武則天在武三思等人的慫恿之下，在萬安山修建興泰宮，工程由宰相李迥秀負責。司法部門從這件事人手，彈劾李迥秀貪汙受賄，經核查證據確鑿。於是，李迥秀就被貶出朝廷，到地方去當刺史去了，二張的一個重要黨羽被剪除了。同年七月，有人狀告二張的三個弟弟張同修、張昌奇、張昌邑貪贓受賄，三人被收監候審，因這三人的劣跡太多，一審一個準，證據一大把，這還不算，二人還供出了張易之、張昌宗這兩人是主謀，於是，二張也被收監了。