奕一生，在政治舞台上经历几番大起大落，“曾经沧海难为水”，难免有看破红尘之念，而他在家庭生活中更是让他经历了太多的身心交瘁。最大的不幸是儿女多早殇，侥幸活下来的则难堪造就。他有四个儿子，长子载澄、次子载滢、三子载濬、四子载潢。其中三、四两子俱幼殇。长子载澄袭贝勒，成年后胡作非为。这三个儿子，都死在他前面。另外一个儿子载滢，一度过继给奕的弟弟钟郡王奕，袭贝勒爵位。庚子事变（1900年）时，因卷入义和团活动又被夺去一切职衔。
奕对子女很重感情。他的第二女仅活到三岁就夭折了。四个月后，他的第三子载濬出生。适逢清军克复太平天国都城天京（今南京市），当时奕位极人臣，红得发紫，同治帝下诏恩封其诸子，生仅一月的载濬竟获封辅国公。其获封年龄之幼，在有清一代是空前绝后的。奕信佛，曾臆想载濬是爱女转世，心里稍感慰藉，谁知两年后载濬又夭折了。奕悲痛至极，将第二女和载濬的棺椁一同迁往他选定的一处墓地（在今北京市昌平区东三十里翠华山前麻峪村。顺便提一句，中国当代史上最著名的秦城监狱就建在这片墓地上）安葬。他担心爱女葬处没有标记很快会被后人遗忘，特地撰写了墓志铭。铭文写得真切动人，慈父爱女之心充溢字里行间。大意是说：“你死后四个月，你的弟弟出生。过二年，他又死，难道是你的灵魂不灭，托生他而来？然无端而来，又无端而去，又何必为此一见再见，以重伤我心？难道该把这一切归结为命运的安排吗？”奕为子女的一再殇逝哀痛不已，深感生命的脆弱，人生的不可测，最终只有归结为不可捉摸的命运了。
奕死后，也葬在这块墓地上。这是他赋闲时亲自选定的陵址，到现在当地百姓还俗称为“六爷坟地”。园寝中曾专门辟有一处俗称阿哥圈的“小园”，里面除早年入葬的第二女和第三子载濬外，还陆续葬有奕的第三女、第四女和第四子载潢。父子生前相聚无多，死后终于可以永久相依了。
以恭亲王的显赫地位，当初兴建园寝时，规模一定非常可观。不过随着清朝的覆亡，民国的内忧外患，恭亲王的园寝几次被盗掘，很快破败。20世纪50年代，为修十三陵水库，又从墓地拆走大量石料。据说十三陵水库大坝上那几个醒目的大字，就是用园寝的汉白玉石砸碎后拼成的。园寝遭受了彻底的破坏，如今，麻峪村前的田地里，仍矗立着一座精美的石头牌坊，是恭亲王园寝内唯一的遗物。奕后代有影响的人物有三个，一个是他的长女荣寿公主，一个是前面提到的长子载澄贝勒，再有一个是第二代恭亲王溥伟。
荣寿公主生于咸丰四年（1854年），同治初年，慈禧太后为了拉拢奕，把她接进宫中教养，接着就晋封她为荣寿固伦公主，时年11岁。清朝制度，中宫皇后所生女封固伦公主，嫔妃所生女封和硕公主。固伦公主品级约相当亲王，和硕公主约相当郡王。至于格格，成为亲王以下所生女的统称，但也有等级之分，亲王女封郡主。非皇帝亲生女而晋封为公主，在清朝历史上凤毛麟角。奕的长女以郡主身份获得固伦公主品级，无论从哪个角度讲都是殊荣。不过，荣寿公主的经历也并非一帆风顺。同治四年（1865年），奕与慈禧太后发生矛盾，被罢去议政王和军机大臣，荣寿公主也受到牵连，其固伦公主的品级被撤销，直到光绪七年（1881年）才恢复。荣寿公主13岁时，经慈禧太后指婚，下嫁给世袭一等公景寿的儿子志端。景寿早年曾娶道光帝的第六女寿恩固伦公主。父子两人均娶固伦公主，是最显赫的皇亲国戚。但志端没有多大福分，婚后半年病死。丈夫死后，荣寿公主作为太后养女又回到宫中陪伴太后。公主生前，西方照相技术已传入宫廷。从保存至今的相片看，中年的公主相貌平平，长脸盘，大鼻子，眉宇间充溢着威严与高贵。荣寿公主出身亲贵，自幼目空一切。以后受到太后垂顾，更加颐指气使。她出门时，行人必须回避，车马必须停住给她让路。光绪初年，副都御史锡珍在路上遇到公主仪仗，躲避不及，车马冲犯了公主仪仗。公主大怒，将其连人带马押送协尉衙门。锡珍被迫跪在公主轿前叩头求饶，才被开释。不过，随着年龄增长，荣寿公主的霸气逐渐消退，无论是在太后面前还是在宫廷内外，她都广结善缘。据说，载湉（光绪帝）即位后，恭亲王一家对他很嫉妒。但荣寿公主却能顾全大局，与载湉相处得很好。又据说，后来慈禧太后要废掉载湉帝位，她在太后面前曾极力劝阻。荣寿公主府的遗址在北京东城大佛寺街，今北京中医医院内，早已踪迹全无。
奕的长子载澄（1858—1885年），人称“澄贝勒”，天资聪颖，诗文俱佳，但放荡顽劣，劣迹斑斑，让奕头痛不已。据说载澄有病，奕不忧反喜，日盼其死，虽延医吃药，不过掩人耳目。日久病重，家里人报告奕，说：“姑念父子一场，还是看他一眼。”奕走入载澄卧室，见他侧身而卧，气如游丝。浑身黑皱绸衣裤，上用白丝线绣满蜘蛛，奕不看则已，一看大怒，喝道：“就这一身匪衣，也该早死了！”说罢，掉头而去，载澄很快气绝身亡。
奕为什么对他这么大怨气？载澄人品顽劣，倒也罢了，关键还是他带坏了小皇帝载淳（同治皇帝）。载淳与载澄一为君一为臣，毕竟是亲叔伯兄弟，两人年龄接近，载澄年长两岁；载澄自幼在宫内上书房伴读，与载淳气味相投。长大后，载澄经常出没于声色犬马之地，见多识广，常把外间的奇闻趣事绘声绘色地讲给小皇帝听。载淳亲政后，禁不住诱惑，仍常与载澄微服出宫，流连于青楼妓馆，最终染病早逝。
载澄死时无嗣。奉太后懿旨。把载滢的长子溥伟（1880—1937年）过继给他。奕去世，溥伟袭亲王爵位，成为第二代恭亲王。溥伟其人风度翩翩，擅长辞令。光绪帝载湉去世时（光绪三十四年，1908年），溥伟29岁，在皇族近支溥字辈中，他年龄居长。溥伟自以为祖父功高，觊觎帝位之心尤其强烈。谁知慈禧太后最终却选定了醇亲王载沣之子、3岁的溥仪（宣统帝）继位。溥伟为此愤愤不已，日久生疾，只好求医问药。某宗室显贵私下嘲笑他：“这是患的心病啊，恐非石膏一斤、知母八两不可。”另一个补充道：“哪里，只须皇帝一个、江山一座足矣。”溥伟的不满，在皇族内尽人皆知，所以宣统一朝，他受到醇亲王一系的疑忌，未能跻身于权力中枢，只当着一个挂名的禁烟大臣。但他继承了恭亲王府的庞大家业，仍安享荣华。
1914年，他避居青岛德租界，收入锐减，仍旧挥霍无度。家中仆役成群，外出时前呼后拥。一切吃喝日用均从北京采买，鸡鸭鱼肉和咸菜只要老字号，如天福酱肉，天源咸菜，致美斋点心，不一而足。每月开支三五千元，仍不够花销。由于年年寅吃卯粮，最后只好把地租收入分为两份，留给北京家人一份，青岛一份，王府管事人等也分作两拨，依旧费用不赀。
溥伟的下场很可悲。他先跑到青岛想投靠德国人。第一次世界大战结束，又迁大连，与日本人建立了联系。他在穷困潦倒中仍对“亡国”一事耿耿于怀。1931年，日本帝国主义发动“九一八事变”，用武力占领了辽宁、吉林等地。溥伟企图借助侵略者的刺刀，实现他复辟清朝当皇帝的梦想，为此特地跑到沈阳祭陵。不过当时日本正扶植溥仪就任伪满洲国的傀儡“执政”，认为溥伟祭陵行为“与日本有相矛盾的地方”，令他立即终止祭陵活动，并将他赶回大连。溥仪对他也不放心，始终没有给一个职位，连零钱也不肯接济。后来，溥伟贫困至极，死在长春的新华旅社里。