奕一生，在政治舞台上經曆幾番大起大落，“曾經滄海難為水”，難免有看破紅塵之念，而他在家庭生活中更是讓他經曆了太多的身心交瘁。最大的不幸是兒女多早殤，僥幸活下來的則難堪造就。他有四個兒子，長子載澄、次子載瀅、三子載濬、四子載潢。其中三、四兩子俱幼殤。長子載澄襲貝勒，成年後胡作非為。這三個兒子，都死在他前麵。另外一個兒子載瀅，一度過繼給奕的弟弟鍾郡王奕，襲貝勒爵位。庚子事變（1900年）時，因卷入義和團活動又被奪去一切職銜。
奕對子女很重感情。他的第二女僅活到三歲就夭折了。四個月後，他的第三子載濬出生。適逢清軍克複太平天國都城天京（今南京市），當時奕位極人臣，紅得發紫，同治帝下詔恩封其諸子，生僅一月的載濬竟獲封輔國公。其獲封年齡之幼，在有清一代是空前絕後的。奕信佛，曾臆想載濬是愛女轉世，心裏稍感慰藉，誰知兩年後載濬又夭折了。奕悲痛至極，將第二女和載濬的棺槨一同遷往他選定的一處墓地（在今北京市昌平區東三十裏翠華山前麻峪村。順便提一句，中國當代史上最著名的秦城監獄就建在這片墓地上）安葬。他擔心愛女葬處沒有標記很快會被後人遺忘，特地撰寫了墓誌銘。銘文寫得真切動人，慈父愛女之心充溢字裏行間。大意是說：“你死後四個月，你的弟弟出生。過二年，他又死，難道是你的靈魂不滅，托生他而來？然無端而來，又無端而去，又何必為此一見再見，以重傷我心？難道該把這一切歸結為命運的安排嗎？”奕為子女的一再殤逝哀痛不已，深感生命的脆弱，人生的不可測，最終隻有歸結為不可捉摸的命運了。
奕死後，也葬在這塊墓地上。這是他賦閑時親自選定的陵址，到現在當地百姓還俗稱為“六爺墳地”。園寢中曾專門辟有一處俗稱阿哥圈的“小園”，裏麵除早年入葬的第二女和第三子載濬外，還陸續葬有奕的第三女、第四女和第四子載潢。父子生前相聚無多，死後終於可以永久相依了。
以恭親王的顯赫地位，當初興建園寢時，規模一定非常可觀。不過隨著清朝的覆亡，民國的內憂外患，恭親王的園寢幾次被盜掘，很快破敗。20世紀50年代，為修十三陵水庫，又從墓地拆走大量石料。據說十三陵水庫大壩上那幾個醒目的大字，就是用園寢的漢白玉石砸碎後拚成的。園寢遭受了徹底的破壞，如今，麻峪村前的田地裏，仍矗立著一座精美的石頭牌坊，是恭親王園寢內唯一的遺物。奕後代有影響的人物有三個，一個是他的長女榮壽公主，一個是前麵提到的長子載澄貝勒，再有一個是第二代恭親王溥偉。
榮壽公主生於鹹豐四年（1854年），同治初年，慈禧太後為了拉攏奕，把她接進宮中教養，接著就晉封她為榮壽固倫公主，時年11歲。清朝製度，中宮皇後所生女封固倫公主，嬪妃所生女封和碩公主。固倫公主品級約相當親王，和碩公主約相當郡王。至於格格，成為親王以下所生女的統稱，但也有等級之分，親王女封郡主。非皇帝親生女而晉封為公主，在清朝曆史上鳳毛麟角。奕的長女以郡主身份獲得固倫公主品級，無論從哪個角度講都是殊榮。不過，榮壽公主的經曆也並非一帆風順。同治四年（1865年），奕與慈禧太後發生矛盾，被罷去議政王和軍機大臣，榮壽公主也受到牽連，其固倫公主的品級被撤銷，直到光緒七年（1881年）才恢複。榮壽公主13歲時，經慈禧太後指婚，下嫁給世襲一等公景壽的兒子誌端。景壽早年曾娶道光帝的第六女壽恩固倫公主。父子兩人均娶固倫公主，是最顯赫的皇親國戚。但誌端沒有多大福分，婚後半年病死。丈夫死後，榮壽公主作為太後養女又回到宮中陪伴太後。公主生前，西方照相技術已傳入宮廷。從保存至今的相片看，中年的公主相貌平平，長臉盤，大鼻子，眉宇間充溢著威嚴與高貴。榮壽公主出身親貴，自幼目空一切。以後受到太後垂顧，更加頤指氣使。她出門時，行人必須回避，車馬必須停住給她讓路。光緒初年，副都禦史錫珍在路上遇到公主儀仗，躲避不及，車馬衝犯了公主儀仗。公主大怒，將其連人帶馬押送協尉衙門。錫珍被迫跪在公主轎前叩頭求饒，才被開釋。不過，隨著年齡增長，榮壽公主的霸氣逐漸消退，無論是在太後麵前還是在宮廷內外，她都廣結善緣。據說，載湉（光緒帝）即位後，恭親王一家對他很嫉妒。但榮壽公主卻能顧全大局，與載湉相處得很好。又據說，後來慈禧太後要廢掉載湉帝位，她在太後麵前曾極力勸阻。榮壽公主府的遺址在北京東城大佛寺街，今北京中醫醫院內，早已蹤跡全無。