那住持吃皇帝一問，當即訥訥，話也說不出來，麵色紫漲。這其中原有個緣故。那麥相雖是個功名赫赫的人物，卻不是個好相與的，性如烈火，極不容人。昔日羅帥因與他是舊友，又性情溫良，不與他理論，反處處容忍，因此還相處得來。毛帥卻是也是個高傲人物，目無下塵，沉默寡言，與麥相頗為不合。
羅帥在日，還可為兩人左右調解，使之不至反目。奈何天不假年，羅帥病篤後，再無人為之奔走，武將文官，竟至傾軋。毛帥晚年，又惑於人言，將兵部之權盡交於侍郎奚瓦德。這奚侍郎為人十分奸狡，不樂麥相牽製武官，時時想取麥相而代之。因他妻子與皇長孫交好，他便借機奉承賣好。那皇長孫也是個浪蕩之人，隻當他是個腹心，他由此成日進言，說麥相如何跋扈，如何傲慢，如何藐視皇孫。皇長孫聽得多了，漸漸入了心，也和麥相生疏起來。
待到日後皇長孫繼了位，奚侍郎升了尚書，更是氣焰囂張，整日進獻讒言不說，又聯合了內廷總管等一幹宵小，隻管圍定新皇，交口說麥相倚老賣老，依仗功績，藐視皇帝。新皇因自己年輕，不能壓服群臣，早想尋人開刀，殺雞儆猴，又叫他們激得興起，當真尋機與麥相爭吵，借故罷了他職位。麥相恨恨歸隱，由是深銜兵部武官與霍家皇室。
日後新皇雖念著麥相昔年功績，多有賞賜，職位卻是一個不曾與，連帶麥相兩子，都隨父退隱，不得出仕。某日新皇出訪外邦，回程時忽又憶起麥相功勞，當時又臨麥相生辰，新皇索性更改路程，特往鄉間，去訪麥相。
麥相當時已是垂垂老矣，腦筋卻還清晰。生辰宴上，新皇親為麥相祝酒，麥相借機進言新皇道：“皇帝若想坐穩皇位，當如高祖一般，約束軍隊。倘若不能，日後必受其害。”
麥相所言，本是金玉良言，奈何新皇對其成見頗深，又因寵信兵部武官，隨口應下，卻不當一回事。兵部諸人聽聞此事，更是深恨麥相，日夜詆毀於前，新皇由是更與其疏離。麥相見皇帝不聽其言，心灰意冷之餘，格外憤恨，遂囑其子道：
“我為霍氏鞠躬盡瘁，實為報效高皇。高皇待我如國士，我便以國士報之。如今新皇剛愎，不聽我言，我亦不視其為主。待我日後離世，碑上不用新皇所賜名號，隻書高皇所賜爵位。碑文隻雲我乃高皇之臣，效忠高皇。我死之後，新皇必要移我屍身於京師，舉行國葬，切不可如其所意。我當葬於此地，除家人外，概不許外人參加葬禮，不與新皇邀買人心之機。”
待日後麥相歸天，新皇果來過問葬儀一事，言說要為麥相於京國葬。其子遂以父有命，不可違為由婉拒。新皇悻悻而歸，心中大恚，奈何麥相人望頗高，不得已於京為其立廟。論理兵部當迎麥相入武廟，配享牌位。怎奈兵部與他齷齪甚多，因此竟無一人提及。文官凡有進言，又以麥相已有廟享相阻。新皇也不理論，此事遂息。