後來沒幾，有一流言滿城皆傳，那便是高陽長公主同顧緯已經和離，且顧緯續了秋落為繼妻。
這流言傳來傳去，自然也就傳到高陽長公主耳中，既然皇兄不準她同顧緯和離，她便對這流言不屑於顧，可是有一，這流言竟變成另外一個版本，顧緯欲與高陽長公主和離的真正目的是，高陽長公主不能生養。
這話入了高陽長公主耳中，她可不想等閑視之，她不能生養是事實，但卻不想麵對這個事實，除非以和離來掩蓋，因為隻有和離了，她沒了丈夫，能不能懷孕外人也就無從得知。
於是，她再次找到宇文佑，鐵了心的要與顧緯和離，不料再次給宇文佑駁回。
此時的高陽長公主頗有些內憂外患的感覺，因為她瘋狂報複太後，以至於濫殺無辜，闔宮怨言沸騰，鬧到宇文佑麵前，宇文佑狠狠的斥責了她，為了息事寧人，宇文佑甚至廢了她的長公主之位，降等為一般皇親，但保留了她的封號高陽，又責令她不準再踏入宮中，當然，駙馬府也就不複存在，她就隨著顧緯住到了普通的民宅，從此不再是高陽長公主，而僅僅是先皇之女高陽。
從高峰跌落穀底，這種大起大落讓高陽無法接受，直接受害者便是顧緯，她成的吵鬧，吵到最後直接的結果是，顧緯給了她一紙休書，她之前是長公主，顧緯連和離都是困難的，現在她隻是普通皇親，休妻也就不是什麼難事。
然而還是受到了阻撓，這阻撓來自顧保三，他同高陽一樣的心思，雖然現在依然是榮華富貴，可是再不如做大駙馬的老爹更風光，所以顧保三一方麵阻撓兒子休妻，一方麵還極力籌謀想讓高陽重回往日的榮耀，他才能雞犬升的重回往日的榮耀。
為了阻止兒子休妻，顧保三找到張貴玉，想麻煩他在皇上跟前遞個話，有皇上幹涉，顧緯必不敢休妻。
誰料，張貴玉是個勢利人，眼見高陽失勢，顧緯也不再是大駙馬，他就無需再溜須拍馬，於是為難的對顧保三道：“皇上每光是看奏折都看到半夜，哪裏還有工夫管你的破事。”
翻臉無情，顧保三忍著他的人嘴臉，賠笑道：“皇上沒工夫管我這破事，也不會有工夫管你的破事，聽你那個女兒還在冷宮關著呢，你若幫了我，我也可以幫你把女兒從冷宮弄出來。”
張貴玉譏笑著，撇嘴道：“你？”
是了，你一個曾經的太監，你現在進宮都困難，憑什麼管起宮裏的事？
顧保三知道他不會相信，也笑，胸有成竹道：“是我，因為我兒子同狐蘭猗交情深厚，而狐蘭猗同皇上交情深厚，狐氏出麵，皇上必然給她麵子，你女兒的事就不是什麼大事。”
所謂交情深厚，還不是宇文佑喜歡蘭猗的意思。
不成想，這事也是滿城風雨了。
這回，張貴玉有些猶豫了，宇文佑對蘭猗的心思，他是比誰都了解的，想了想告訴顧保三：“話我可以幫你遞，但能不能成，看你的造化了。”
無路可走，權且一試，顧保三歎口氣：“我信命。”