武則天不願意讓這位大和尚離開，也不願讓他到外麵街上散播宮閣的醜聞，於是派他管理皇宮和禦花園。薛懷義告訴武則天他懂得建築，至少會蓋房子。因此這便成了他公然進入宮廷後院的借口。皇宮中嬪妃的住所一向隻許女人進入。現在允許一個真正的男人進去，惹起了不少的閑言碎語。禦史王求禮，一向恪盡職守。他上了一本，奏請大和尚薛懷義去勢之後，再允許出入宮中女人住的宮院，以保“宮女之貞”。武則天閱完奏本，大笑起來。她覺得所奏太荒唐，仍以絕頂聰明的態度處之，置之不理。不該張揚的事她不會聲張，君王的威勢不需要在這個時候營造，這時正是表現寬容納諫的好時候。
武則天的情感有了轉移，她又有了新的麵首。薛懷義惱羞成怒一把火燒了武周帝國的標誌性建築——明堂。明堂一場大火，騙局就被揭穿了。這麼多神仙，竟然阻止不了一場明堂之火，連預告也沒有一聲！武則天斥責河內老尼：“你常說能預測未來，為什麼預測不出明堂的大火？”於是“神仙們”遭到了滅頂之災，老尼及其弟子被沒為宮婢，韋什方聞訊自殺，老胡逃走，隻有薛懷義還暫時留了下來。這事情發生之後，武則天雖然覺得很丟臉，但又不好發作。她知道這是誰放的火，也知道為的是什麼。她對朝臣說，隻是因為工人疏忽，一堆麻引起了火。她下令要重新建築這座明堂。還讓薛懷義來督修。
但是，這個薛懷義似乎野心不小，企圖建立一支僧軍。他找了千名健壯有力的百姓，把他們剃度為和尚蓄養在白馬寺。白馬寺離洛陽宮城不過十餘裏，薛懷義的僧軍，實在是肘腋之患。武則天決不能容忍他的這種做法，她派侍禦史周矩去處理此事。周矩將那些武僧都發配到遠地，唯一留下來的還是薛懷義。武則天對待薛懷義的態度，是剪除羽翼。既剪其上層羽翼，又逐其下層支黨，薛懷義的力量，便越來越弱了。但他仍不識相，在武則天麵前，言多不遜。
武則天討厭跟這種粗人糾纏在一起。用法律審問他當然不行，那未免貽笑大方。她諸事慎重，知道若是在大庭廣眾之下審問這個瘋和尚，萬一哪個環節出錯，當場什麼事都有可能鬧出來。她的名譽和尊嚴將毀在這些本來不算大事的事上。武則天決定除去薛懷義，但這事又要做得周密、幹淨利索，不起一絲波瀾。於是她派了自己的女兒太平公主辦這件事。
太平公主令人給薛懷義去送信，說武則天為重建明堂，有事跟他商量。隨後找了二十幾個健壯的婦人，都拿著繩子、杠子、掃帚把，告訴了她們怎麼行事。時間到了，她和那些健婦一同到瑤光殿，瑤光殿是薛懷義去見武則天的必經之路。太平公主同時告訴武攸寧在羽林軍中選一些衛士隱藏起來，預備行動。一切安排妥當，太平公主站在走廊之下等候。薛懷義通常都帶著仆從騎馬而來。在白馬寺的那些和尚被放逐之後，現在又接到太平公主的這封信，他有點猶疑。後來，他想起武則天設法使他免受審問，告訴侍禦史周矩放了他，於是推斷武則天不會對他下手。為了謹慎起見，他小心翼翼地進了皇宮的北門，向四周探望了一下。在宮門和宮裏的住宅之間有一座禦花園。繞過一個池塘，他走到了宮中住宅的背後，在池塘與住宅當中有一段回廊。他又留心向左右前後打量沒有別人，隻有平日的一些宮女。太平公主正站在走廊之下，向他微笑。薛懷義下了馬，把馬拴在一棵樹上。忽然間，好多健婦竄出來，把好多繩索往他身上套，這樣把他絆倒在地，就像一條魚落在網裏一樣，隨之，那些健婦用木杠和掃帚棒子往他身上亂打。薛懷義大聲吼叫，但他自己的仆從早跑光了。這時，衛士們也從隱蔽處跑出來，蜂擁而上。太平公主下令當場把薛懷義處死，屍體送回白馬寺燒化了事。這件事做得幹淨利落。
武則天在宮中有一支偵察行刑的隊伍，從王皇後、蕭淑妃的死可以看出來；她還有另外一支毀屍滅跡的隊伍，從被她除掉的太子妃找不到屍首就可以推斷。但在除去薛懷義的時候，她沒用自己的人馬，而是讓女兒去收拾，她在幕後審視。這固然因為她不屑再參與小的謀殺，也是為慎重起見。薛懷義和自己的關係太密切了，太平公主做起來會更隱秘，把握更大。