張昌宗聽說要罷他的官，當即撒起潑來，脫口而出：“臣有大功於國，這點小事何至於免官”。一個男寵，沒幹過什麼正經事，卻口稱有大功於國，聽到這句話，武則天都笑了。她問宰相：“你們說說，張昌宗他到底有沒有為國家立下大功？”宰相們麵麵相覷，還是那個曾經稱讚張昌宗貌似蓮花的楊再思宰相的政治水平高，他說張昌宗曾經給陛下合藥（既煉丹），陛下吃了，身體康複，陛下健康就是國家的福氣，臣認為張昌宗確實有大功於國。武則天一聽，覺得這話有些道理，於是借坡下驢說，既然宰相認為張昌宗有大功，那就赦免他吧。這樣一來，倒張派就不幹了，韋安石和唐休璟兩個宰相挺身而出。兩人既是宰相，又是太子府的官員，一個是太子左庶子，一個是太子右庶子，他們說此案重大，必須進一步審理。武則天鐵了心要赦免張昌宗，懶得接招兒，一紙調令把韋安石調任揚州長史，唐休璟調任幽州都督，你們找地方歇歇吧，別在這兒摻和了。
這個回合，二張兄弟毫發無損，倒張派卻損失了兩員大將。
但是，倒張派沒有泄氣，準備下一撥攻擊，他們不信，正義在手奈何不了兩個為非作歹之徒。
長安四年（704）十二月，洛陽城的大街小巷忽然出現了一批飛書，也就是匿名傳單，飛書上寫著張昌宗、張易之兄弟謀反的內容，很快整個洛陽城沸騰了。飛書上雖然沒有列舉具體的謀反證據，但二張兄弟還是很害怕，尤其是張昌宗，自從當上武則天男寵後，因為害怕武則天死後自己難以善終，就去找人算命，這算命的人說他有天子相，張昌宗大驚，當即就把那個算命的打發走了。現在忽然出現飛書說他謀反，他認為準是那個算命的先生把這件事泄露出去了。兄弟兩人商量了一番，決定去跟武則天主動交代這件事，武則天一聽就樂了，原來六郎還有天子相，你以為天子是誰都可以做的嗎？她拍拍張昌宗的腦袋說：“放心吧，有朕罩著，不會有事的”。
武則天對這件事想不了了之，倒張派卻要把事態升級。幾天後，一個叫楊元嗣的人公開遞上狀子說：“昌宗嚐召術士李弘泰占相，弘泰言昌宗有天子相，勸於定州造佛寺，則天下歸心。”這麼一告，就不同尋常了：張昌宗曾找術士李弘泰相麵，李弘泰說他有天子相，勸他在定州建造一座佛寺，這樣一來，天下就歸心了。之所以不同尋常，是因為張昌宗確實攛掇武則天在定州建造了一座佛寺。動機有了，行動也有了，這就是標準的謀反案，是大案要案了。沒有辦法，隻能走司法程序。
武則天當即委任了三個人來查這個案子，三人分別是宰相韋承慶、司刑卿崔神慶、禦史中丞宋璟。三個人之中，韋承慶是二張黨羽，有心為二張開脫。很快他拿出了自己的調查結論：關於算命的事，張昌宗已經向陛下交代了，屬於自首，既然已經自首，謀反就不成立，應該撤案放人。宋璟當即表示反對，說張昌宗不臣之心昭然若揭，若不是因為飛書的出現，他會自首嗎？動機和行動如此明朗，罪在不赦，必須將張昌宗正法。
武則天心裏明白了，問題卡在宋璟那兒，隻要搞定了宋璟，這個案子就可以不了了之。她決定故伎重演，調虎離山。她讓宋璟去一趟揚州，處理一些陳年舊案。沒想到調令下達後，宋璟卻不奉詔，說揚州那點小事派個監察禦史去就行了，臣身為禦史中丞，應該負責大案要案。宋璟這番話符合當時的製度，製度上就是這麼規定的。沒辦法，過了兩天，武則天又給了他一個新的任命，讓他去幽州調查幽州都督的貪汙案。但宋璟還是不奉詔，幽州都督官雖大，也隻是個具體的個案，臣身為禦史中丞，非軍國大事不離朝出使。意思是禦史中丞是不具體經辦地方上的那些案子的，同樣有理有據。沒辦法，幾天後，武則天想了個辦法，她派宋璟陪宰相出使蜀地，也就是去一趟四川，安撫當地百姓。沒想到宋璟仍不奉詔，理由是：現在蜀隴一帶既無天災，又無兵變、民眾叛亂，風調雨順，老百姓的日子過得很滋潤，臣去那裏幹什麼？不過是浪費朝廷的差旅費。這樣說還不算，他還把武則天的老底給揭了出來：陛下一次又一次將臣外調，是不是不想讓臣經辦張昌宗謀反一案？而且擺出了一副不辦此案絕不罷休的架勢：“昌宗分外承恩，臣知言出禍從，然義激於心，雖死不恨”。意思是，張昌宗這樣囂張，不就是因為有陛下寵著嗎？臣知道此言一出，馬上就會為自己召來禍端，但是，臣心中既然存有大義，就一定要把這個案子辦到底，即使為這件事丟掉性命也在所不辭。話說到這個份兒，等於是公然跟武則天叫板兒了。宰相楊再思見場麵如此尷尬，趕緊勸宋璟說，你怎麼如此對陛下說話，還不趕快退下。沒想到宋璟把臉一沉，眼睛瞪著楊再思說：“聖主在此，不煩宰臣擅宣敕命。”武則天算是開了眼界，自己平生閱人無數，還從未見過如此耿介之士，雖然宋璟不給她麵子，但她發自內心佩服宋璟的耿介、無私、無畏。她笑了，對宋璟說：“宋愛卿說得對，朕身為一國之君，怎能夠徇私枉法呢？現在，朕命張昌宗跟著宋愛卿回禦史台受審！”