胤祥去世後，怡親王一共襲了9次。其中比較有名的，一個是第五次襲的載垣，一個是第八次襲的溥靜。與第一代怡親王不同的是，這兩位怡親王一個被賜死，一個被八國聯軍撻辱而亡，均死於非命。
第六代怡親王載垣（1816—1861年），胤祥玄孫。他深受鹹豐帝寵信，在朝中任要職。鹹豐十年（1860年），大學士桂良的代表團未能把英法聯軍阻攔在天津，載垣和兵部尚書穆蔭以欽差大臣名義，前往通州，與英使額爾金的代表巴夏禮舉行談判。談判破裂後，載垣下令逮捕巴夏禮及隨員，其中20餘人被殺，隨即遭到英法聯軍的報複。載垣隨駕赴熱河。在熱河，載垣與鄭親王端華、肅順等八大臣被鹹豐帝委以讚襄政務王大臣（八顧命大臣）。不久，慈禧發動政變，載垣被賜死，爵位從第一等的親王降至第十等的不入八分輔國公，並命不得以其子孫及親兄弟子承襲。怡親王爵中斷三年後，清廷以收複江寧（南京），推恩還王爵，轉由寧郡王弘皎的四世孫鎮國公載敦承襲。載敦死，子溥靜承襲。此為第八次襲。
光緒二十六年（1900年）義和團運動期間，端王載漪首倡“剿夷”之說，怡親王溥靜與莊親王載勳、輔國公載瀾、貝勒載濂、載瀅、貝子溥倫群起響應。八國聯軍入城後，溥靜以親王之尊，竟為德兵撻辱而死。死後被清廷以“縱庇拳匪啟釁”罪名革爵，可謂身敗名裂。
溥靜的福晉，為大學士文煜之女。文煜曾任福州將軍，是有名的肥缺，文煜與其兄文輝皆以財富稱名。光緒九、十年間，南方票莊阜康倒閉，其兄弟被發現倒款數十萬。後經戶部查出，令其明白回奏：何以有此巨款？文煜張皇失措，召集族人各認數萬兩，編造說是代合族經營。文煜又向恭親王奕請托，此事才含糊了結。溥靜的福晉驕奢無度，因其排行十三，人皆稱呼她“十三妹”。某年正月怡親王府請春酒，文煜內眷皆往，在東四南大路上與一公爵（乾隆名臣大學士阿桂的後人）爭路互毆。文宅仆人依仗怡親王府的權勢，竟將公爵與車夫羈押，並加以侮辱。此事一出，坊巷哄傳，被人向都察院檢舉。後經恭親王奕出麵調停，才算了結。奕的兒媳是文煜第九女，即長子載澄貝勒夫人。此外，如瑞郡王奕的福晉、貝勒載濂夫人，都是文煜的女兒，與溥靜福晉、貝勒載澄夫人均為姊妹。由此可見，宗室親貴間的血緣姻緣關係盤根錯節，非常密切。這也是怡親王府迭遭大禍而能“死而不僵”的一個原因。
怡親王府前後共有三座：胤祥初封時，怡親王府在冰渣胡同，新中國成立後更名為校尉胡同。當時的怡親王府麵積很大，據繪於乾隆年間的地圖，怡親王府西臨王府井大街，東至校尉胡同，北到金魚胡同，南至帥府園胡同，包括了中央美術學院等一大片地方。怡親王死後，按照他的遺願，王府舍為寺廟，即賢良寺。
怡親王新府則移至朝陽門北小街（今中國科學院自然科學史研究所所在地）。該府屋宇宏深，庭院開闊。同治初，因第五次襲怡親王載垣獲罪削爵，此府轉賜道光帝第九子孚郡王奕，所以又稱“九爺府”。載垣革爵三年後溥靜複爵，新王府又遷至東單牌樓北路東。