張衡的被殺，對於黃明遠來說影響很大。不管張衡是因為什麼原因被殺的，他都畢竟是對黃明遠影響最深的一位老師，而楊廣就這麼不聲不哈地將其處死，讓黃明遠心中滿是憤怒。我好歹也是一國宰相，連自己的老師都護不住？至少你在殺張衡之前，也要知會我一聲。
而且無論如何張衡都是楊廣登基的第一功臣，有什麼非得鬧到這一步，非得讓張衡死不可。
之前黃明遠無論如何對楊廣不滿，都是基於政治上的，是對於楊廣的政策不滿。甚至是他把南陽公主嫁給宇文士及，黃明遠再是心痛，也是理解其道理的，雖然不滿，但並未怨恨。但這一次張衡之死，留給黃明遠的隻剩下深深地心寒。
一種突破心理底線的打擊。
黃明遠與陳遠這裏哭述完這一場，在滿是悲傷中渡過了這一夜。可是時間不會因此而停止，張衡終究還是死了，黃明遠此時也無可奈何，總不能找楊廣去算賬吧。
若是如高熲一般，黃明遠當時在楊廣身邊，哪怕會觸怒楊廣，總還能為張衡留下一命。但現在無論是怎麼做，也挽回不了張衡的命。
黃明遠知道，在二次東征高句麗的緊要關頭，再是心中不滿，也不能與楊廣發生衝突。所以張衡的死，他隻得默默地忍了，要不然還能如何。
這種東西隻能埋在心底深處，可一次一次的割開心底的傷口再埋上，這種感覺太難受了。
或許楊廣是在意黃明遠的心思的，所以他連這件事都沒有向黃明遠問詢，不僅怕黃明遠反對，還是怕黃明遠為難。當然也可能怕與黃明遠發生衝突而尷尬。
但這正是黃明遠憤怒的一點，因為這也是一種無視。
黃明遠去信妻子裴淑寧，命十歲的次子維烈前往河內代替之間去祭奠老師。雖然張衡生前也曾權傾一時，但因為是被楊廣處死的，因此眾人多有忌諱，不敢去張家拜祭。至於張家，恐怕也不敢大張旗鼓地為張衡舉行葬禮。
但黃明遠卻不在意，自己在意東征可楊廣也在意東征，雙方都為了此事可以盡最大限度忍耐對方，所以此時，黃明遠即使有些行為惹得楊廣不開心，楊廣也不會如何黃明遠。
從黃明遠這裏來說，自己毫無過錯，已經對於楊廣殺死張衡委屈不做聲了，難道還不允許自己拜祭自己的老師嗎？
張衡出殯之時，黃維烈是代替父親身穿孝衣拜祭的，也算是震懾不少想要落井下石的人。
這時選曹下令免去張希康的職務，但被黃明遠頂了回去。理由很簡單，張希康無過，且之前東征高句麗有功，此時處置，難道要寒將士們的心。
虞世基有心要討好楊廣，但也不敢明目張膽地跟黃明遠硬頂，此事遂作罷。
其實這是虞世基猜錯了楊廣的心思，楊廣這個人驕傲的很，雖然殺了張衡，還不至於因此牽連到張希康的身上，虞世基反倒是白白作了次小人。
當然，也有人對於黃明遠如此明目張膽地拜祭張衡，還回護張希康不解，這不是要和楊廣作對。