張昌宗一聽就傻眼了，旋即脫口而出，說張說和魏元忠一同謀反。此語一出，滿朝嘩然，你張昌宗剛才還說張說可以為你作證，現在又說他跟魏元忠一起謀反，簡直是信口雌黃。於是，有人就問張昌宗：你憑什麼說張說和魏元忠一起謀反？
張易之說他親耳聽到張說對魏元忠說：“魏公，您就是當今的伊尹和周公。”
看來，沒文化的人真是吃虧呀。聽張易之這麼一說，張說馬上就笑了，接過他的話茬說：“陛下當年任命魏元忠為相時，微臣確實前往祝賀過，希望他向伊尹、周公學習，臣之所以希望他做伊尹、周公，是因為伊尹輔佐商湯成就了商朝的基業，而周公輔佐成王開創了成康盛世，他們都是千古忠臣。陛下任命宰相，要是不希望他們學習伊尹、周公，還讓他們學習誰呢？微臣希望魏元忠做當代的伊尹、周公又有什麼錯呢？”二張兄弟一聽，又一次傻眼了，張說不管這些，馬上變得慷慨激昂起來：“微臣豈不知道二張氣焰熏天，若是依附他們，微臣就能當上宰相；若是同情魏元忠，微臣可能就要人頭落地。可是，神靈在上，微臣不敢附和小人！”武則天是明白人，看到這個場麵，知道二張被張說給耍了。雖然二張誣告魏元忠和高戩謀反的罪名不成立，但武則天很不痛快，覺得自己的權威受到了挑戰，斥責張說是個反複無常的小人，將其一並治罪。於是，魏元忠被貶為縣尉，張說和司禮丞高戩被流放嶺南。
事情鬧到這步，大家就都不爽了。二張兄弟四麵樹敵，先是得罪了太子，現在又得罪了大臣，而且還把另一個實力派人物太平公主給得罪了，因為司禮丞高戩是太平公主的情夫。更為重要的是，魏元忠這個案子壞了武則天的心情，她從洛陽回到長安，本來是想在這兒實現政權交接，而魏元忠這個案子使她感覺到無論是太子還是大臣，都在暗地裏跟她叫板兒。自己的權威受到了挑戰，這是她不能容忍的，母子關係、君臣關係又變得緊張起來。
長安三年（703）十月，武則天下令：文武百官隨自己重返洛陽。這是一個很不好的信號。太子感到不快，群臣感到不安，所有的人都認為這是二張兄弟在從中搞鬼。那些正直的大臣認為，若不將二人除掉，天下將不得安寧。
回到洛陽之後，朝廷很快分成兩派：一派依附二張兄弟，形成擁張派。擁張派主要由奉宸府中的文人墨客、朝中的一些文人官僚，如宰相李迥秀等，以及以武三思為代表的武氏子弟，加上張昌宗、張易之兄弟本來就身居高位，又有武則天罩著，聲勢頗為浩大。
一派擁護太子，反對二張兄弟，是為倒張派。倒張派主要有太子李顯、相王李旦一派勢力，以及朝廷司法部門，包括大理寺、禦史台、刑部等部門，其中最傑出的衝鋒陷陣人物是進士出身的禦史中丞宋璟。
兩派勢同水火，互相爭鬥。從表麵上看，擁張派實力要強大一些。但是，倒張派成員更幹練一些，最重要的是他們得到了群眾的支持。
武則天剛從長安回到洛陽，洛陽的百姓就行動起來，表明自己倒張的立場。由於二張整日待在宮裏，他們就拿其弟張昌邑開刀。一天，張昌邑剛剛起床，看門的就慌慌張張跑來報告，說大門上被人寫了一行字：“一日絲能作幾日絡。”意思是看你小子還能橫行到幾天。張昌邑氣急敗壞之餘，趕緊讓人擦去，吩咐看家護院的人晚上盯緊一些，看是誰幹的，一旦發現，立即給我抓起來。護院的人戰戰兢兢，一夜寸步不離，可是第二天早上，那行字又出現了，天天如此，擦掉了又出現。張昌邑沒有辦法，索性不擦了，在那行字後麵添了四個字：“一日亦足”。擺出一副我是流氓我怕誰的架勢。可見，民意對二張是很不利的。
群眾的覺悟那麼高，司法部門的官員自然不甘落後。長安四年（704），武則天在武三思等人的慫恿之下，在萬安山修建興泰宮，工程由宰相李迥秀負責。司法部門從這件事人手，彈劾李迥秀貪汙受賄，經核查證據確鑿。於是，李迥秀就被貶出朝廷，到地方去當刺史去了，二張的一個重要黨羽被剪除了。同年七月，有人狀告二張的三個弟弟張同修、張昌奇、張昌邑貪贓受賄，三人被收監候審，因這三人的劣跡太多，一審一個準，證據一大把，這還不算，二人還供出了張易之、張昌宗這兩人是主謀，於是，二張也被收監了。
當時，大理寺的負責人司刑正心想：二張的後台是武則天，打狗要看主人麵，便將大事化小，從輕發落，判決書寫張昌宗強買人田，罰銅二十斤。武則天對於這個判決很滿意，當即批準，轉給禦史台複核。幾天後複核意見出來了，說二張總共貪汙了四千餘緡錢，數額巨大，判決太輕，按照法律規定，張昌宗應該免官。