隨著楊愔、宋欽道等輔政大臣被殺，李祖娥與高殷母子在朝堂之上，也失去了最後一個支撐。
楊愔離世不到一個月，齊主高殷便下詔：凡是軍國大政，都送到晉陽，稟報給大丞相高演裁決。
皇叔威望頗重，又權傾朝野，比起少年皇帝，高演自然擁有更大的勢力，還有支持他的文武朝臣。不久，眾官皆勸高演即位，他也將大臣的意願告訴給了母親婁昭君。
這時，站在一邊的趙道德忽然看向高演，先開口道：“殿下不效法‘周公輔成王’，卻想要骨肉相奪。殿下此舉，就不怕後世之人說你篡位謀逆嗎？”
婁昭君聽見這話，麵露遲疑之色，“道德之言，也不無道理。”
她也很清楚，以六子高演的野心，讓他學周公旦輔弼侄子周成王治理國家，穩固江山社稷，顯然是不可能的。亂世之中，宗室親貴們皆有私心，一心為國的人畢竟是在少數。
高演卻道：“天下人心未定，若不早定名位，隻怕將來會發生變故。”
婁昭君明顯看得出他有點心急，想要早點登上天位，成為一國君主。
想到丈夫一手開創的基業，想到次子建立的國家，如今形成了叔侄相奪的局麵，她心裏便不是滋味，不禁歎道：“沒想到敵寇還未入侵，自家人倒先掐起來了！”言罷，就命趙道德退殿，隻留高演一人。
她看了高演良久，忽道：“延安，你可記得，在文宣帝離世前對他承諾過的話？”
高演麵有一絲愧色，半晌方道：“兒臣記得。”
婁昭君又問道：“你承諾過他什麼？”
高演微微低首，“兒臣在文宣帝的病榻前說過，會盡心盡力去輔佐少主，不會做出對少主和二嫂半點傷害之舉，若違背誓言，必將死於非命。”
“好，記得就好。延安，你可否在我麵前再次承諾一次？”
高演忽然抬頭看她，“母後？”
“怕了？”婁昭君冷聲問。
高演再次低下頭，“母親何必逼迫兒臣……”
“你認為，我是在逼你？”婁昭君依舊看著高演，“漢人總說胡人是狼，但是你們叔侄之間，我卻認為正道是隻羊，而你就是一隻狼，指不定哪天你就會把這隻羊給吃了！”
高演仍是低頭不語，婁昭君又道：“延安，母親希望你能聽我一句，隻有先將家事處理好，才能治國，平天下。你若是真孝順，就叫我安心。”
高演遲疑片刻，道：“正道是我的親侄子，兒臣疼愛他還來不急，怎麼會傷害他呢。”
“這麼說，你是答應了？”
“是，兒臣答應母後，我絕對不會傷害正道，一定會好好善待他。”
婁昭君道：“但願，你能記住今天所說的話，不要讓我失望！”
高演聽得此言，重重地垂下頭，不敢再看她。
公元560年，秋八月，太皇太後下令廢黜高殷，貶為濟南王，降居別宮，常山王高演入纂大統；皇太後李祖娥移居昭信宮，號昭信皇後；太皇太後婁昭君又尊為皇太後。