直至20世紀初，與豪莊·賽格拉城堡相伴的大多是輝煌。城堡出產的葡萄酒在德·豪莊在世時就已經被譽為教區內最出色的之一。1661年前後，德·加斯科家族掌握著波爾多議會的大權；近100年後，則是德·豪莊家族充當著波爾多議會各代大法官的搖籃。1787年，時任駐法大使的傑弗遜（Thomas Jefferson）到訪波爾多時拜訪豪莊·賽格拉城堡，隨後又在1790年9月6日向酒莊訂購10箱葡萄酒，這在當時必定是一種令雙方滿意的友好表示，特別是考慮到它發生在1789年之後。賽格拉男爵將自己的名號帶給了豪莊·賽格拉城堡，但他本人不久就在大革命期間死於暗殺，留下德·豪莊與賽格拉封號的唯一繼承人凱瑟琳（Madame de Rauzan-Ségla）。由德·豪莊的女兒特雷莎一支衍生出的碧尚女爵酒莊經常被視為波爾多女性在葡萄酒領域成就的典範，但經常與豪莊·賽格拉城堡相伴的玫瑰圖案也絕非空穴來風：在動蕩的18世紀末，正是凱瑟琳母女以近乎鋼鐵的意誌把控了酒莊的命運。
開隆酒窖豪莊·賽格拉各款年份佳釀，中間一款為香奈爾首席設計師拉格菲爾德專門設計的2009 年份酒標（中）豪莊酒窖
至今很多波爾多人還會津津樂道德·豪莊在泰晤士河上的壯舉：為確保自己產品在英國的售價，他寧肯將一船最好的葡萄酒倒入泰晤士河也不降價。德·豪莊的孫媳婦瑪麗-安（Madame Marie-Anne de Briet）顯然承繼了他的這一鐵腕手法。當時波爾多的酒商間有不成文的規矩：二流酒莊每桶葡萄酒的售價不能超過一流酒莊售價的3/4，而瑪麗-安堅持兩者間的價格差不能多於7/8。最終如同她的祖父一樣，瑪麗-安獲得了成功。瑪麗-安的商業頭腦顯然得到了她的公公的認可，雖然她在結婚10年後與丈夫分手，但仍在1778年後完全掌控了酒莊的管理。1816年瑪麗-安去世後，她的長女、孀居的凱瑟琳與妹妹共同繼承了酒莊。凱瑟琳自1828年後成為酒莊的唯一擁有者，她沒有看到1855列級，但在她有生之年，豪莊·賽格拉城堡擁有了僅次於瑪歌酒莊的聲譽。
豪莊·賽格拉城堡在德·豪莊後代的手中保留至1866年，隨後以73萬法郎的價格出讓給在波爾多的參議員、新教牧師杜蘭-達西（Eugène Durand-Dassier）。杜蘭-達西本身是波爾多地區建築最宏偉的克雷孟-碧尚堡酒莊（Chateau Clément-Pichon）的始建者，在杜蘭-達西的照管下，豪莊·賽格拉城堡繼續著它在國際範圍的盛名。1903年，杜蘭-達西的女婿克魯斯（Frédéric Cruse）接手酒莊的管理並建成今日人們所見的城堡，取代了之前老派的黃綠色查特風格（Chartreuse）建築，酒莊周邊的葡萄園也進行了重新布局。然而，20世紀30年代末的金融危機使葡萄園麵積銳減至20公頃，此後的25年更是災難性的。回顧豪莊·賽格拉城堡當年的輝煌，它在這一時期的落魄相比就更顯突出：酒莊的日常運作幾乎停頓，1956年2月那場波爾多曆史上最冷的初春摧毀了葡萄園中更多的葡萄。20世紀後半期的近40年裏，豪莊·賽格拉城堡像不受歡迎的半熟山芋一樣被數次轉手封藏，盡管也曾有過諸如“更換不鏽鋼釀酒罐”等現代化嚐試，但在克拉薩1994年走進酒莊時，他隻能感慨“百廢待興”：“辦公室裏沒有計算機，沒有對講係統，相反葡萄卻使用機械采摘。發酵罐全部是220升的，這意味著無論是來自哪塊地的哪種葡萄，隻能把它們混雜進一個罐裏發酵。”
分別在1994年與1996年以“收購”的形式賦予豪莊·賽格拉城堡與開隆莊園重生的是香奈兒（CHANEL）公司。在今天那些迫不及待地在波爾多四處尋覓可收購的酒莊的投資者看來，香奈兒公司當年的做法堪稱這家以香水成名的家族企業在另一個液體領域極富前瞻性的決策。然而，一個葡萄酒莊並非一件買下後束之高閣也無不可的純奢侈品。香奈兒公司在1993年與拉圖酒莊擦肩而過，在競價中輸給了PPG集團，但它一年後為自己的新酒莊挖來了在拉圖酒莊效力多年的克拉薩。從純粹葡萄酒的意義上說，克拉薩成了豪莊·賽格拉城堡與開隆莊園之間的精神紐帶。