話說高王納了爾朱後，帝雖聞而惡之，然並無相圖之意。朝臣中惟斛斯椿心懷反覆，平素喜與術士劍客往來，好行機詐。高王初入洛陽，椿已慮其權重欲圖害之，賴賀拔勝言之而止。及歡殺喬寧、張子期，心益不安。因與南陽王寶炬、武衛將軍元毗、侍郎王思政等結為一黨，密於帝前言歡之短，勸帝除之。舍人元士弼亦言詔到並州，歡坐而聽讀，驕傲無禮。帝於是常懷不平。欲除之而計無所出。一日，忽接歡表，言爾朱兆已正殺君之罪，滅及全家，而太原王榮曾有大功於國，不應無後，其所遺幼子文殊年漸成人，理合賜之襲爵，以酬其勳。帝覽奏大駭，欲許之，則封叛臣之子為王，心所不甘；欲不許，則慮觸歡怒，致生不測。乃密召斛斯椿，以表示之。椿曰：「陛下不可不許。歡之推恩於爾朱者，以納莊後之故，在他麵上用情，誌在必得，不如許之以慰其心。然歡所為如是，未始非天朝之幸也。」帝曰：「何幸之有？」椿曰：「以歡之雄才大略而勵精圖治，經營大業，其勢難製。近聞其自納莊後為妾，日夕居於爾朱兆舊府，隻圖歡樂。諸將罕見其麵，舊時姬妾亦置不問。以尉景為冀州刺史，委以政事，自己全不關心。又以北地已平，關西通好，以為天下無事，因此誌驕氣盈，惟酒色是娛。現在乘其昏惰之時，正好設計除之。歡若一除，其長子高澄年僅十二，餘皆孩提，雖有謀臣勇將，蛇無頭而不行，皆可以利誘也。如是則大權複歸帝室，天下皆稽首歸服矣。」
帝曰：「除之若何為計？」椿曰：「陛下禁旅單弱，先當廣招武勇，添置閤內都督部曲、值殿之將，每員以下增置數百人。又諸州行台管轄一方，皆歡私人為之，本以正討反亂，故建其職。今托言天下已平，悉罷其兵，則歡勢孤矣。關西賀拔嶽士馬精強，雖陽與歡合，未必心服。今遣辯士說之，使順朝廷。其兄賀拔勝英雄無比，心地忠烈，現為侍中，可使都督三荊七州諸軍事、荊州刺史，以為外援。及早行之，便足以製歡矣。」帝曰：「司空高乾，朕亦欲用之。」你道帝何以欲用高乾？先是乾在信都遭父喪，以軍興不暇終服。及帝即位，表請解職行喪，詔解侍中，惟不解司空之職。乾雖求退，不謂帝遽見許，既解侍中，朝政多不關豫，居常怏怏。帝既貳於歡，冀乾為己用，嚐於華林園宴罷獨留乾，謂之曰：「司空奕世忠良，今日複建殊勳。朕與卿義則君臣，情同兄弟，宜共立盟約，以敦情契。」慇懃逼之。乾對曰：「臣以身許國，何敢有貳？」帝複申前說，乾唯唯。且事出倉猝，不謂帝有異圖，遂不固辭。與帝焚香訂盟，誓終始不相負，因是帝欲用之。椿曰：「乾若為陛下用，其弟敖曹勇冠三軍，雄武無敵，亦可結之，為陛下用矣。」帝大喜，由是朝政軍謀，帝專與椿決之，群臣皆不得與。得與聞者，惟南陽王、王思政數人。然南陽雖與其謀，恐事無成，心甚憂之。
一日朝退，獨坐閣中，其妃乙弗氏賢而色美，為王所愛敬，無事時，每與談論世事。妃是日見王默默不樂，問其故。王曰：「我憂高歡當國，將來禍必及我。」妃曰：「王承帝寵甚厚，何畏於歡？」王曰：「天子是他扶立，國政軍權皆他掌握。一旦有變，天子且不保，其社稷何有於我？我所以憂也。」
妃曰：「此非王一人事，且寬懷過去。」因問歡之宗祖是何等樣人。王曰：「我初不知。前日我同高道穆入景明寺閑玩，時歡隨爾朱榮入都，與司馬子如亦來寺中遊玩，在左廊下相遇，歡與子如並肩而行。吾見其容貌特異，聲音宏亮，目視久之。道穆謂予曰：「殿下識此人否？」我曰：「不識。」道穆曰：「此人姓高，名歡，字賀六渾，渤海人也。其上祖名隱，出仕於晉。
隱子慶，為燕吏部尚書。慶子泰，為燕都尹。燕亡，泰之子湖，以燕郡太守引兵降於本朝。吾世宗皇帝封為右將軍。湖有四子，次子名詝，官為侍禦史，犯法坐罪，削職為民，謫徙於懷朔鎮。詝與吾家為同姓，與吾父、吾叔叔兄弟行。其去懷朔時，以祖宗神像寄與吾父，曰：「門戶衰敗，未識流落何所，恐有遺失，幸弟為我留之。且言我父：為將常行仁義，未嚐妄戮一人，我雖如此，或子孫尚有成人者，可以此示之。於是遂去，其後不相聞問。我父嚐以此諭我兄弟。吾曾看其先像，此子容貌，宛似高湖，但少須耳，乃湖之曾孫也。」我曰：「既有此事，何不以像還之？此子神姿秀異，所謂成人者，即其人歟？」道穆乃進前相見，遂入講室。歡與子如、道穆及我同入共坐。