對於楊暕，黃明遠很清楚，你就不能給他臉。他就是一個無賴，還是一個欺軟怕硬的無賴。而對付這種無賴，就是你要比他更強硬。
聽聞楊暕因為氣走了黃明遠，而高興的在府上舉辦宴會，黃明遠決定要盡快解決這個問題，於是黃明遠前往齊王府。
楊暕聽說黃明遠的求見之後更是欣喜，他以為黃明遠這是向他服軟，既然如此，他就更好好的羞辱黃明遠一番，讓他知道雙方的身份，因此楊暕便故意將黃明遠晾在大門外一個時辰。
黃明遠終於對楊暕忍無可忍，可在大庭廣眾之下，不便發作。進入楊暕府上，黃明遠看到對方，楊暕還想說兩句風涼話，黃明遠便直接上前揪住楊暕的衣領，將他提起來威脅道：“楊暕，你我本井水不犯河水，可你這些日子肆意妄為，禍亂朝堂，屢屢羞辱於我，真以為我不敢殺了你！”
楊暕被黃明遠的所為驚住了，費勁掙紮卻難以脫手。
眼看黃明遠目露凶光，殺意凜然，楊暕嚇得是肝膽俱裂，真以為黃明遠要殺他，更是結巴道：“黃明遠，你······你可別亂來，我······我是齊王，你······你要是殺了我，聖人是······是不會放過你的······求你，求你，別殺我！”
黃明遠當然不會殺了楊暕，眼看其醜態百出，黃明遠便一把將其擲到地上，然後冷冷地說道：“我殺你如屠狗一般，今日不殺你，是怕髒了我的手，但你若是再敢對我不敬，看我不弄死你。”
黃明遠威脅完楊暕之後，便堂而皇之的離去，隻留下嚇得如爛泥一般的楊暕，趴在地上瑟瑟發抖，良久不曾起身。
此事來的快去的也快，好像沒有發生過一樣。因為事情發生在齊王府上，楊暕更是三緘其口，令人不得傳揚。
不過此事過後，楊暕再也不敢在黃明遠跟前囂張跋扈了。
黃明遠打上門去的做法當然不是莽撞，而是知道楊暕畏威而不懷德，一味退縮沒有任何意義，反而讓楊暕以為自己軟弱。這次狠狠的震懾其一番，雖然直接，但省去了無數麻煩。
至於楊廣那裏，隻要自己不說話，不過是扯皮而已。
果然如黃明遠所料，楊暕被黃明遠狠狠地羞辱了一番，當然不忿，還上奏天子，彈劾黃明遠對其無禮。不過他與黃明遠關係眾人皆知，楊廣也沒有當真，他根本就不信這個兒子的話。
而黃明遠更是當做什麼也不知道。
失了告狀這個辦法，楊暕還真沒法奈何黃明遠，楊廣不信任他，說什麼都沒有用。他又恐黃明遠再次報複，隻得老實起來，再也不敢與黃明遠為難。
因此朝廷倒是無事了一段時間。
黃明遠畢竟是宰相，又威望顯著，因此他不想讓楊暕插手朝政，楊暕本人還真的無可奈何。朝政上插不上手，楊暕這個留守隻是一個空名頭，他本人也隻得再次沉浸於聲色犬馬之中。
作為一個被寵壞的孩子，楊暕為人驕縱恣睢，又昵近小人。黃明遠雖然斬斷了楊暕插手朝政的手，但也不可能完全限製楊暕的日常生活，因此楊暕便派喬令則、劉虔安、裴該、皇甫諶、庫狄仲錡、陳智偉等人尋求聲色狗馬。喬令則等人因此放縱，訪得人家有美女的，就假傳楊暕的命令叫來，送到楊暕府內，隱藏起來，恣意**，然後拋棄。洛陽之中因為楊廣的原因，胡人遍布，因此厙狄仲錡、陳智偉兩人便向胡人搶取食物，勒索名馬，得數匹馬進獻給楊暕。楊暕也知道父親對胡人的重視，因此命他們送還主人，庫狄仲錡等人卻謊稱是齊王的賞賜品，將馬歸為己有，楊暕本人卻不知真實情況。