高緯原本就膽小懦弱，始終沒有決定下來。隨後他又接到丞相府佐封士讓的密信，說斛律光奉召西歸，即將引兵逼主，事情正在籌備之中。如今高緯又聽說斛律光在家私藏了弓弩盔甲以及數千奴僮，並且他經常派人到斛律羨那裏，陰謀往來，如果不盡早除掉，會生出大亂來。高緯看完密信後，對何洪珍說道：“人心原來都很靈敏，我時常懷疑斛律光要謀反，果不其然！”說著，高緯立即命何洪珍轉告祖珽，並向祖珽詢問計策。祖珽說道：“這有何難！隻要皇上賜一匹駿馬，就說明天去東山遊玩，讓丞相乘此馬同行。那時斛律光必定前來，隻需要二三個壯士，就可以誅殺他。”何洪珍立即回報齊主，齊主高緯依計施行。果然，斛律光中計，隻身一人騎馬而來，行至涼風堂，下馬步行。突然有人從後猛撲而來，斛律光差點被撲倒在地，幸虧腳力穩健，還能站住，他回頭看向身後，隻見劉桃枝怒目站在一旁，便大聲嗬斥道：“劉桃枝你怎麼盡做這種事？我又沒有辜負國家！”劉桃枝沒有答話，隻叫來三個壯漢把斛律光撲倒在地，用弓弦纏住斛律光的脖子，把他勒死，鮮血濺了一地，很久都沒有消退。
齊主又下詔誣稱斛律光謀反，派遣宿衛隊到斛律光的家中抓捕其子斛律世雄、斛律恒伽，勒令他們自盡。隻有小兒子斛律鍾因年幼，才幸免一死。祖珽派郎官邢祖信查抄斛律光的家，邢祖信報知祖珽，得到十五張弓箭、一百張宴射箭、七把刀、兩張賜槊。祖珽厲聲問道：“除了這些還有什麼？”邢祖信也抗聲說道：“還有二十捆棗杖，聽說是處置家奴用的，凡是奴仆犯了私鬥罪，杖一百下。”祖珽不禁有些慚愧，柔聲對祖信說道：“朝廷已經加了重刑給他，你又何必為他鳴不平呢！”邢祖信答道：“我是為國家可惜，損失了一位賢明的丞相！”邢祖信說完就退了下去。旁人都說邢祖信講話太直接了，邢祖信卻說道：“如此賢明的宰相都死了，我的小命也沒什麼可惜的！”
齊主又派人到梁州，殺死斛律光的長子斛律武都，再命中領軍賀拔伏恩去抓捕斛律羨。賀拔伏恩到達幽州，還沒有入城，守門的官吏急忙跑進去報知斛律羨道：“來使身穿盔甲，馬身上全是汗，恐怕會對將軍不利，應該關閉城門不要讓他進來！”斛律羨訓斥道：“怎麼能懷疑詔使而將他拒之門外呢？”於是，斛律羨出城跪地聽詔。賀拔伏恩宣讀完詔書後，立即把斛律羨拿下，就地斬殺。斛律羨臨刑前歎息道：“兄長的富貴到了如今的地步，女兒身為皇後，公主做了兒媳，兄弟子侄都手握重兵，天道惡盈，怎能不遭受猜忌，我早就料到會有這天！”斛律羨從容受刑，他的五個兒子也都被殺。賀拔伏恩等人回都複命，除了陸令萱母子和祖珽的奸黨外，大家都為他們喊冤。隻有北周將軍韋孝寬得到消息後非常高興，他暗自慶幸自己的陰謀告成，急忙報知周主宇文邕。周主也喜出望外，下詔大赦，舉朝慶賀，互相說道：“斛律光被殺，齊虜就是我們掌中之物了！”
齊主高緯的皇後斛律氏，相貌本來就很平庸，沒有得到齊主的寵愛，這時也連坐被廢，遷居到別宮。胡太後也為自己行為失德而慚愧，想做點事情取悅於齊主，她特地招來兄長的女兒，令其穿著盛裝豔服去見齊主。齊主也是個“登徒子”，見到有姿色的美女，差不多要酥倒了。齊主當下就問明姓氏，得知她是前隴東王胡長仁的女兒。她的父親已受誅，她還沒有嫁人，齊主便樂得把她留住，做一對合歡鴛鴦。
胡女早已受到太後的密囑，曲意承歡，齊主高緯對她越來越憐愛，立即冊封她為昭儀。其中有一個情敵，那就是弘德夫人穆舍利。先前，穆舍利已經生下一個男孩，取名為高恒，那時齊主還沒有儲嗣，就特地命斛律皇後撫養。才過了半年，齊主就將他冊立為皇太子。此次斛律皇後被廢黜，穆夫人按理應該補升上去，偏偏被胡昭儀從中插入，又讓穆夫人多了一個對頭。胡太後要立侄女為皇後，料知穆氏的義母陸令萱一定會幫助穆氏，出來反對，不得已隻好備下厚禮巴結陸令萱，與她互稱姐妹。陸令萱這時更覺得左右為難，隻因胡昭儀正被齊主寵愛，又加上胡太後從中囑托，於是和祖珽入宮勸說齊主，將胡昭儀立為皇後。事後，胡皇後很感激姑姑的恩情，便提起母子大義，責備齊主，枕邊的話最容易聽進去，況且齊主高緯已經忘記前嫌，早就撤銷了所有北宮的衛隊，這次聽了胡皇後的話，便把太後迎回宮中奉養。母子姑侄團圓歡聚，自然是有說不出的情深意切。
隻是這陰柔狡黠的穆夫人平白地將後位讓給別人，怎麼能忍受得住呢？穆夫人當下就埋怨陸令萱，說她沒有母女之情。陸令萱也很後悔，便安慰穆氏道：“你不要心急，不出半年，我一定讓你坐上中宮之位！”穆氏哭著說道：“我又不是三歲小孩，您何必這樣哄騙我！”陸令萱對她發誓，決意替她周旋，穆氏這才似信非信。果然過了一個多月，齊主高緯多次到穆氏房中聊敘舊情。穆氏半喜半惱，假意勸高緯到中宮去，高緯生氣地說道：“皇後不知道惹了什麼病，癡癡癲癲的，想是有些失心瘋了，朕不願見她！”穆氏也暗暗驚訝，心想一定是陸令萱所為，但也不知道她用了何術，隻因齊主已經回心轉意，自然也提起精神來迷惑齊主。陸令萱又乘間啟奏道：“天下有男為太子，母為奴婢的嗎？”齊主默然，隻令陸令萱退下。
不久，齊主又挑選了兩個美女，一個姓李，一個姓裴，都很有姿色，稱李氏為左娥英，裴氏為右娥英。這取名的原因是效仿舜妃娥皇女英，不過是並在一起稱呼的。陸令萱不禁替穆氏著急，便想方設法幫助穆氏。她四處尋訪，尋得了一些寶帳和枕頭、席子等物品，俱為世間罕見的珍品，她讓穆氏穿著皇後的服飾，渾身掛滿珠翠，打扮得像個天仙一樣，安靜地坐在帳中。陸令萱立即向齊主進言道：“有一位聖女出世，陛下何不去看看呢！”齊主便立即隨她而去，由陸令萱引至穆氏坐處，揭開寶帳，立即有一種蘭麝奇香沁人心脾。齊主略微一瞧，果然看見一麗姝端坐帳中，仿佛似巫山神女，姑射仙人。齊主不禁大聲喝彩，等到麗姝起身迎接，仔細一看，才知道是穆夫人。齊主指著陸令萱笑：“你真的太會捉弄人了！”陸令萱也笑著答道：“像我這樣美麗的女兒，還不配做皇後，試問陛下要選擇何人呢？”齊主說道：“可是天子隻能有一位皇後。”陸令萱便接話道：“舜納堯的兩個女兒為妃，便是兩位皇後。舜是聖明之主，難道陛下不可以效仿嗎？”齊主聽後非常高興，當晚就和穆氏留宿在帳中，竭盡歡娛。第二天，齊主就冊立穆氏為右皇後，稱胡氏為左皇後。