連環局結束了，武則天達到了自己的目的。在大姐、三妹、外甥女去世之後，賀蘭敏之和楊女士就成了武則天最親的娘家人，而一度武則天也把賀蘭敏之當成最親的人。公元666年，當武元慶和武元爽在外地憋屈而死之後，誰來繼承武士彠的爵位就被提上了議事日程。按照常理，武士彠的孫子武承嗣、武三思都有資格，然而武則天卻不想讓這樣的好事落到他們的頭上，想來想去，最合適的人選還是外甥賀蘭敏之。不過還有一個問題，賀蘭敏之姓賀蘭，並不姓武。這個其實很簡單，把賀蘭敏之列入武氏家譜，改姓武就可以了，讓他作為武士彠的後嗣，繼承武士彠的爵位。從此，賀蘭敏之就不再是賀蘭敏之，而是武敏之。憑借著這層特殊的關係，武敏之的仕途平步青雲，很快便升遷為門下省弘文館學士、左散騎常侍，在姨父和姨媽麵前都是相當紅。不過他的紅，並沒有維持多久，很快他就因為一次談話被姨媽武則天懷恨在心。
那場談話是在李治和武敏之兩人之間進行的，談話的主題是賀蘭姑娘的死因。李治說：“朕出去主持朝會的時候她還好好的，等我回來的時候，她就已經沒得救了，怎麼會死的這麼快呢？“武敏之沒有回應，隻是號啕大哭。這一幕被武則天的眼線看到，然後轉述給武則天。武則天仔細揣測了一番，得出了一個結論：這孩子看來是懷疑到我了。武敏之什麼都沒說，武則天卻認為他已經懷疑到自己，或許這就是做賊心虛吧。如此一來，武則天對武敏之再也沒有以往那樣寵愛了，而且越看他越不順眼，曾經最親的人，現在卻漸行漸遠。四年後，武則天的母親楊女士病逝，當武則天還沉浸在病痛中時，她卻聽說武敏之已經脫掉了孝服，奏上了樂曲，與歌女糾纏在一起。武則天的心深深地被刺痛了。不久之後，更深的刺痛又來了，這一次的刺痛比上一次放大了更多。
原本武則天和李治已經看上了司衛少卿楊思儉的女兒，準備娶她做太子李弘的太子妃，並已經為兩人敲定了結婚的日期，這時意外卻發生了。就在結婚之前，準太子妃居然被強暴了。誰幹的？武敏之。碩大的一頂綠帽子居然要給太子戴上，武則天出離了憤怒，這個武敏之居然荒唐到這個地步，留他何用？公元671年六月十一日，李治下令將武敏之放逐到雷州（廣東雷州），同時剝奪武敏之姓武的權利，從此之後你還是賀蘭敏之。被放逐的賀蘭敏之最終並沒有走到雷州，當他走到韶關的時候，便抵達了自己人生的終點，韶州的地方官用一根馬韁結束了他的人生路。一根馬韁結束了賀蘭敏之的一生，同時也把意外的驚喜帶給武元爽的兒子武承嗣，他被武則天恩準從嶺南返回長安繼承爺爺武士彠的爵位，與他同時得到解放的還有武元慶的兒子武三思。既然上一代的恩怨已經終結了，武則天不想再跟侄子們過不去，從此對這兩個侄子恩寵有加，甚至在自己稱帝之後還在徘徊於“傳侄“還是“傳子“之間，而這一切的起源，便是來自公元671年對武承嗣的重新起用。