在眾人的適當誘導下，劉驁立刻由“後宮”兩字展開聯想，並跳過皇太後，直接到了許皇後的頭上。於是他下令，裁減皇後的所有開支，“椒房儀法，禦服輿駕，所發諸官署，及所造作，遺賜外家群臣妾，皆如竟寧以前故事。”不但是日常儀仗衣食被削減，就連許氏家族的待遇，都一律降級。
許皇後自認一直謙恭守禮，家族也從不做非分之事，怎麼能夠忍受這樣的黑鍋。她憤懣難抑，立即向丈夫正式上書抗議，想為自己討一個說法。
然而事情已經無可挽回。劉驁滿腦子都是娘舅們和馬屁精們給他灌的糨糊，自認為非常公正，嚴詞拒絕了妻子的合理要求。不久，許嘉也被皇帝女婿勸退，回家養老去了。西漢王朝的權力，全都交到了王家人的手裏。
許皇後和劉驁的夫妻情分，出現了裂痕。
然而，雖然許嘉和許皇後都受了處罰，老天卻仍不消停，令王氏家族尷尬的事情持續發生。在往後的三年裏，日食仍然頻頻發生。世人都認為許皇後家族受屈，真正將要禍國殃民的，應該是皇太後的王氏家族。
王政君兄妹怎麼能夠容忍這樣的事情發生呢！於是王家的馬屁精們紛紛出動，可勁地把所有的凶兆都歸在無辜的許皇後身上，認為她所受的懲罰還不足夠。
劉驁與許皇後的夫妻情分，終於走到了無可挽回的地步。
就在這時，趙合德入宮了。她將要給整件事添上最後一塊磚。
趙合德以她的聰明，立即就明白許皇後的地位已經是岌岌可危。她盯上了這個位置，並聯合姐姐趙飛燕，不遺餘力地開始挑撥劉驁與許皇後所剩無幾的夫妻情分。在這方麵，趙飛燕當然與妹妹一拍即合。
然而許皇後沒有什麼過錯，要使朝臣答應把她廢黜，可不是一件容易的事。就在這個時候，後宮中發生了一件事情：一位很有可能是出自王氏家族的王美人，莫明其妙地流產了。劉驁唉聲歎氣，王政君太後也眉頭緊鎖。
這個機會立刻就被姐妹倆利用起來。
據正史記載，趙飛燕在此時出麵向成帝告發，說王美人本來完全可以平平安安地生下皇子，可惜的是有人搗鬼，對她進行了蠱咒，以致龍子胎死腹中。非但如此，就連四年前的大將軍王鳳之死，也與這個蠱咒大有關係。操辦巫蠱之事的是許皇後的姐姐平安剛侯夫人許謁，背後的指使者就是許皇後，而地位僅次於許皇後的班婕妤也脫不了幹係——班家雖與王家無仇無怨，但是班婕妤自己生的兒子沒養大，也就看不得別人生皇子。更可惡的是，這兩個女人自家失了寵，卻怪皇帝變心，所以下蠱時，就連皇帝本人都沒有放過。
寵妃說的話，那還能有錯？！劉驁立即火冒三丈，太後王政君更是勃然大怒。她早想跟姓許的翻臉了，何況許家竟犯下了這樣不可赦免的大罪過！於是當即立案，雷厲風行地辦了起來。
以許謁和許皇後當時糟糕的處境，她們確實很有可能對坑害許家的王鳳以及後宮新寵們做些詛咒的勾當，但是如此一樁關係身家性命的事情，她們怎麼可能會去找皇後的情敵班婕妤合作？人心隔肚皮，何況班婕妤可是出了名的賢德才女，把皇帝看得比天還大，許皇後就不怕她去告發嗎？可以想象，這整件事情，多半就是一件冤案。有人不但要廢掉許皇後，還要把後宮中地位資曆僅次於許皇後的班婕妤、這個最有可能在許皇後被廢後繼立為皇後的女人也置於死地——如此聰明的一箭雙雕之計，雖然出頭告發的是趙飛燕，但是縱觀姐妹倆的所有作為，我卻不得不懷疑，真正的運籌者其實應該是趙合德。
班婕妤是左曹越騎校尉班況的女兒，漢成帝初即位時，她就被選入宮，剛開始隻是後宮妃嬪中的第十一級少使，不久便以才貌雙全而得寵，晉封為婕妤，遷居增成舍。她曾經為成帝生下過一個兒子，卻不幸夭折。成帝曾經有一段時間非常寵愛她，還邀她同乘禦車。班婕妤莊容拒絕道：“觀古圖畫，堅聖之君皆有名臣在側，三代末主乃有嬖女。今欲同輦，得無近似之乎？”這事傳到王政君太後的耳朵裏，老太婆高興得很，讚道：“古有樊姬，今有班婕妤。”
班婕妤既然素有這等賢名，她怎麼會扯到這樁巫蠱案中，就連劉驁自己都想不明白，於是親自出馬訊問。班氏鎮定自若地回答：“我聽說‘死生有命，富貴在天’，修身養性為善舉尚且不一定能夠得到福報，更何況是做邪惡之事？鬼神有知的話，不會接受不軌的意圖；假若鬼神無知，詛咒就更沒有用。所以這事我無論如何也不可能參與。”劉驁聽了，覺得很有道理，覺得自己冤枉了她，為了表示歉意，賜給她黃金百斤。
然而冰雪聰明的班婕妤知道，自己已經被趙氏姐妹看成了騰達路上的一塊絆腳石，隻要自己還在皇帝身邊、在寵妃的名錄上，就總會有重蹈許皇後覆轍的一天，自己的家族也將萬劫不複。於是她主動提出要求，離開皇帝的後宮，遷往太後所住的長信宮去侍奉婆母。這個要求當然立即就得到了劉驁的批準——縱使他有不準之心，趙合德也能讓他打消得一幹二淨。
從此，正當青春盛年的班婕妤就搬進了長信宮，小心地侍奉著王政君太後，謹慎地保護著自己和家人的平安。她再也沒有活著見到過自己的丈夫劉驁，直到劉驁死後，她才作為“先帝妃嬪”再次遷居陵園，看到的也僅僅是埋著劉驁的封土堆而已。
班婕妤終於保住了班氏家族。東漢年間的名將班超、《漢書》的編寫者班固、鄧太後時期的女政治家班昭，都是她的侄孫。然而她自己，卻隻能在漫長的寂寞中度過她大半的人生。後人隻能從一篇短短的詩歌裏，體會她所有的愛恨哀怨——新裂齊紈素，鮮潔如霜雪。裁為合歡扇，團團似明月。出入君懷袖，動搖微風發。常恐秋節至，涼飆奪炎熱。棄捐篋笥中，恩情中道絕。
可是與許皇後相比，班婕妤就已經是很幸運的了。
鴻嘉三年（前18）的冬天，在一切都“證據確鑿”的情況下，許謁被處斬，許皇後被廢，許氏家族統統趕回老家。
許氏十四年皇後生涯，換來的是家族沒落，自己被打入冷宮。她先是在昭台宮住了一年，又被趕到長定宮。雖然這時趙飛燕已經被冊立為皇後，許氏卻一直癡心不改，她反複地回想著和丈夫多年來生兒育女的恩情，不但盼望他終有一日念及舊情，更期待自己能夠重新振興家族。於是她病急亂投醫，找到了王政君太後的外甥淳於長。
許廢後之所以會找上淳於長，是因為這位花花公子成了她的姐夫。