很快黃明遠就顧不得義成公主的事情了，因為朝廷之中，爆發了一件大事，子下令，罷免宰相蘇威，誅殺高熲、賀若弼、宇文弼等人。
楊廣北上之時，便下詔征發男丁一百餘萬人修築長城，西起榆林，東至紫河（即今內蒙古南部、山西西北長城外的渾河）。尚書左仆射蘇威勸阻，楊廣不聽。這條路修築了二十便完工，死傷無數。
這便是高熲等人要被誅殺的直接原因。
因為高熲的主動投誠，楊廣在登基之後，還是很優待高熲的，不僅任命其為太子太師，與楊雄、楊弘等人並列，還恢複了其爵位齊國公。
不過高熲似乎還沉浸在楊堅的時代，對楊廣的性格並不完全了解，因此對於楊廣的作為，屢屢勸諫。
楊廣征召全國周、齊、梁、陳等朝樂家子弟為樂戶，從六品以下到庶人，有擅長音樂的，全向太常寺報到，高熲對此對不以為然，認為這是亂政，勸楊廣廢止，但楊廣不聽。
此時的高熲似乎因為年老和離開政治中心，已經喪失了政治警惕性，因此他之後對太常丞李懿道：“北周元帝因為好樂而亡國，殷鑒並不遠，怎麼可以再重複呢？”
而這兩年，楊廣的種種作為，也越來越讓高熲不滿，因此高熲竟然和安德王楊雄道：“近來朝廷太無綱紀了。”
這一次楊廣召見啟民可汗，黃明遠、長孫晟皆對楊廣對胡人厚賞不滿，但也沒有話，但高熲卻認為楊廣此舉不妥，對啟民可汗的待遇過厚。他又對太府丞何稠道：“這個胡虜很清楚中國的虛實，山川的險易，恐怕會成為後患。”
不僅如此，高熲還和楊諒的舊部禮部尚書宇文弼走得迫近。須知禍從口出，從高熲管不住嘴開始，他的下場已經注定。
宇文弼也不知是不是知道楊廣對其虎視眈眈，卻與高熲私下裏道：“周元帝的奢侈，以今的情況與之比較，也不算太過分吧？”後來又“修長城的工程，幸而不是急迫的任務。”
如此種種，早有人上報給了楊廣。
七月二十五日，楊廣下令，捉拿高熲和宇文弼，滿朝皆驚。
二人一個太子太師，一個禮部尚書，雖都沒有多大的實權，但皆是前朝老臣，地位崇高，身份貴重，影響深遠，因此被逮捕之後，朝臣紛紛上書求救。
光祿大夫賀若弼也上書進言，請求子明察，沒想到有人上告賀若弼也私下議論宴請啟民可汗的規模太奢侈。楊廣遂把賀若弼也抓了起來。
賀若弼之父賀若敦因口出怨言，為北周晉王宇文護所不容，逼令自殺，臨死前，曾囑咐賀若弼“我想要平定江南，然而現在看來已經不能實現了，你應該繼承我的遺誌。還有我是因為嚼舌根而遭致殺身之禍的，你不能不好好想想啊。”並用錐子把賀若弼的舌頭刺出血，告誡他要慎言。
之後賀若弼因伐陳之功，變得越發驕縱，自命不凡，在朝廷之上屢屢大放厥詞，數次被貶官下獄。這一次，他終於又倒在了這張嘴上。可惜楊廣不是楊堅，不會輕易放過賀若弼。
賀若弼是軍中僅存的名將，威望顯著，他的被捉，使得眾人明白楊廣處置高熲的決心，因此再無人敢進言。