回到“上城别墅”后，雨果开始追求身边的这位漂亮姑娘。起初，这位22岁的姑娘还在痛苦地抵抗，但这位海上老人的荣誉、才华、智慧又使她钦佩，使她感觉到了一种无法抗拒的魅力。雨果给她起了个新名字，叫阿尔巴，意即黎明曲，并特意写诗相赠。经过几个月的抵抗后，姑娘终于让步了。幸福的诗人用动人的诗句和她谈话，为她写下了热烈的诗篇——新的爱情使诗人产生了新的创造力。敏锐的朱丽叶已惯于洞察不幸，她立刻看出了发生在“上城别墅”的事情。于是，朱丽叶立刻辞退了勃朗歇，让她悄悄离开了盖纳西岛。
雨果收到阿丽丝的来信，得知弗朗索瓦·维克多的病（肺结核）越来越重。雨果深为儿子的身体担心。现在《九三年》已经完稿，重要的是没有阿尔巴的盖纳西岛已使他生厌。于是在1873年7月31日，维克多·雨果同朱丽叶又回到了巴黎。
雨果虽然已向朱丽叶许诺发誓，绝不再见阿尔巴。可老诗人一到巴黎，便直奔勃朗歇家去了。他为她在图尔纳勒区租下一套房子，每天午后，雨果都要去那儿会见他的情人，有时他还带着她到植物园散步。朱丽叶为此非常痛苦，她甚至雇了一名私人侦探，跟踪雨果，发现了他的这些秘密，并当面揭发了他的“可耻行径”。更有趣的是，虽已年迈但心却依旧年轻的朱丽叶，在1873年的9月19日，竟采取了一个“非常行动”——像年轻时一样离家出走了！
朱丽叶的突然失踪使维克多·雨果大为震动。绝望中他立刻请人四处寻找。当有人终于在布鲁塞尔找到朱丽叶的时候，雨果几天来一直悬着的心这才放了下来。朱丽叶答应回来，雨果前去车站迎接。他提前一个多小时赶到车站，连早餐都没有吃。“9点5分，火车正点到站。我们又重逢了。在这以前，我有多么失望，此时我就有多么幸福。”这是诗人在1873年9月26日的日记中所写的。他深情地爱着朱丽叶，当他以为失去了她的时候，他曾这样想：“我的灵魂飞走了！”
1873年10月26——一个不幸的日子，诗人的儿子——弗朗索瓦·维克多因病离开了人世。白发老人再次经受了丧子之痛。福楼拜在写给乔治·桑的信中这样描述葬礼：“人真不少！可是没有喧哗！秩序井然！我情不自禁地拥抱了死者可怜的父亲雨果，他心情悲痛，却显得坚强，……”
小路易·勃朗在葬礼上致悼词，他的演讲情真意切，感人至深：维克多·雨果两个儿子中的幼子与哥哥会合去了。3年前，他们俩还生气勃勃。此后，死神将他们分开，现在又让他们团聚。
今天，他们只留下一儿一女
算是我的亲骨肉，
几乎是形影相吊！黄泉路上，
上帝夺去了我一家人！
当他们的父亲写这样的诗句时，当悲痛欲裂的伟大肺腑发出这声悲伤的呼喊时——
“啊！站住，你们俩都给我站住！”难道他预见到了大自然会如此无情？难道他预见到了自己的家庭将无子嗣？就像是命中注定似的，他的痛苦与荣誉参半，他有多少才华，就有多少不幸。
壮心不已
1874年元旦过去了，尽管维克多·雨果在生活中接二连三地遭遇不幸，但他依旧像棵老橡树般的傲然挺立。他仍旧在幸福地工作着，精益求精，使他的艺术日臻完美，如保尔·瓦莱里所说的那样：“多么奇妙的诗篇啊！在布局谋篇上，在音响效果和整体的和谐一致上，任何诗都无法与之匹敌——莫非这不是他晚年的作品？”诗人本人也惊叹自己暮年的这种异乎寻常的精力和艺术技巧。他说：“我就像被砍伐过多次的森林：新长出来的幼苗越来越茁壮，生命力越来越强……半个世纪来，我一直不停地用散文和诗歌表达我的思想，可是，我感到写出来的还只是我思想的千分之一……”
1874年4月29日，雨果一家搬到了克里希街21号。诗人租下了那里的四、五两层，一层作为他、阿丽丝和孩子们的卧室；另一层作为朱丽叶的卧室和接待室。已经步入古稀之年的雨果身体依然康健，爬起楼来丝毫不觉吃力，心不跳气不喘。每天清晨，邻居们便会看见穿着红色上衣的雨果身披一件灰色外套，站在斜面高书桌前开始写作。晚上，是诗人宴请宾客的时间，被邀的客人总是12位或是14位，诗人仍在忌讳“13”这个不吉利的数字。身穿黑色天鹅绒衣服的朱丽叶·德露埃站在诗人的右边，接待来宾。现在，她已是博得公认的诗人的女友。晚餐过后，大家来到红色的客厅里高谈阔论，朱丽叶则坐在一边静静地打盹儿。雨果的身边聚满了文人朋友，身材高大的福楼拜、阿尔丰斯·都德、爱德蒙·龚古尔等都是红色沙龙里的常客，而大仲马、蒂奥菲尔·戈蒂埃等一批和诗人同时代的作家已先后离开人世，永远不能参加这样的聚会了。
“十分迷人的”（福楼拜语）雨果要为众人朗诵他的诗作，龚古尔在他的日记中详细地描述了诗人诵诗时的情形：我们发现雨果独自一人站在餐厅的桌子前，准备朗诵他的诗，那样儿真像魔术师演出前在一个角落里试试手法。雨果背靠壁炉，手里拿着一大张纸——在海岛时写成的长诗片断。他对我们说，诗人把诗写在亚麻制的纸上，是为了永久保存。
随后，他从容不迫地戴上眼镜——大概是为了显得有风度吧，他又将眼镜慢慢向后推着，——接着他拿起手帕，若有所思地擦试着从他那青筋突起的高额头上浸出来的汗珠。在开始朗诵之前，他先抛出一句开场白，仿佛是在宣布，他的脑海里装着整个宇宙：“先生们，我已经74岁，我的文学生涯才刚刚开始。”他给我们念了长诗《父辈的耻辱》——《历代传说》的续篇。其中有不少非凡的佳句。看他朗诵真有意思！为了这场朗诵，壁炉布置得像一个舞台，上面点着14支蜡烛，烛光映在镜子里，在他身后构成一团炭火似的光芒。
在雨果红色沙龙里的宾客中，除了文学界的朋友外，还有一些政治界的朋友，如路易·勃朗、儒勒·西蒙、甘必大、年轻的乔治·克莱蒙梭等，他们常聚在一起议论着时下的局势。当时麦克·马洪已经接替梯也尔担任了政府首脑，随着时间的流逝，人们对于巴黎公社已逐渐倾向于宽恕。1876年1月，根据克莱蒙梭的提议，维克多·雨果被提名为参议院候选人。在第二轮选举中，雨果当选为议员。
3月22日，雨果去凡尔赛出席参议院会议。他身着黑色礼服，银须白发，目光炯炯地登上讲台，开始了他的发言。他要求对公社社员实行大赦，他说：“是停止使人类的良心震惊的时候了。是抛弃这种不一视同仁的可耻做法的时候了。我要求完全、彻底地赦免3月18日事件的参加者。”
雨果提议投票表决，可表决的结果令诗人非常失望。在第三共和国首次选出的参议院里，共和观念很淡薄，只有10票赞成，其余参议员则沉默不语，表示反对。雨果提交的大赦草案就这样被否决了。雨果立刻领悟到，他的影响是无足轻重的。第三共和国的首届参议院一点儿也不像共和国的议会。5月23日朱丽叶写信安慰雨果，她在信中说：“如果民众能够表决，大赦肯定会通过；为了你能这样勇敢、这样理直气壮地争取过大赦，他们会把你像凯旋归来的将军似地抛起来。但是不管这帮残暴的坏蛋愿意不愿意，将来也得宣布大赦。”
1877年法国政坛斗争十分激烈。议会主席儒勒·西蒙表示，愿同不能容忍甘必大的麦克·马洪精诚合作，但却没有成功。总统对儒勒·西蒙说：“我宁愿被推翻也不能听从甘必大先生的发号施令。”他声称将利用宪法给予的权利，在和参议院达成协议后解散议会。雨果团结左派的力量，极力阻止麦克·马洪的这一阴谋实施。6月21日，雨果为反对解散议会发表了一篇精彩的演说：我很愿意相信效忠的宣誓，但我清楚地记得，从前我们也相信过这套玩意。我想起这些来，不是我的过错；我看到这些同样的把戏，使我十分不安。我之所以不安，不是为我自己，因为在活着的时候，我已经没有什么可损失的了；而在死后，我将赢得一切。我之所以不安，是为了国家。先生们，请你们听听一个白发老翁的话吧！他已经看到了你们也许在将来才能看到的东西。他在这个世界上除了你们，已经没有别的利益；他要把赤诚的忠言告诉你们大家，不管是朋友还是敌人，因为他离那个永恒的真理——死，已经很近了，所以他既不会记仇，也不会撒谎了，你们都好冒险，那么就听听冒过险的那个人的话吧；你们都将和未知直面，那么就听听那个对你们说“我了解这个未知”的人的话吧！
解散议会的提案以149票对130票勉强通过。接着，在1877年10月的选举中，共和党人以326票对200票获胜。甘必大对麦克·马洪元帅说：“要么屈服，要么辞职。”12月，新政府组建，为首的是左派共和主义者波尔·杜弗尔。麦克·马洪复辟帝制的计划遭到失败，危险总算过去了。
1877年，雨果的《做祖父的艺术》发表。贯穿诗集的是一种素朴而又温柔的情调——令人心动的祖父的爱。诗集在出版几天后便销售一空，紧接着又再版了几次。伟大的诗人在诗中表达了令他惊奇的祖父的感情：一个敢于反抗皇帝的人，竟被一个孩子征服了。在好多诗篇中，雨果干脆把孩子的语言直接移入诗中，新奇而又素朴。其中《月亮》一诗，便是如此：让娜，脸色红润，严肃地坐在草地上出神；
我走到她跟前：“告诉我，你要什么东西，
让娜？”因为我对这些可爱的孩子总是百依百顺，
我经常窥伺他们，我总是设法了解，
在这些天真的脑袋瓜里可能发生的事情。
“我想看到一些动物。”让娜回答我说。
于是我向她指着草地里一只蚂蚁；
“瞧！”但是让娜并不怎么满意。
“不，动物一般都是大个儿。”她说。
他们梦想的是巨大。海洋把他们吸引到海滩，
用嘶哑的歌谣哄着他们，用暗影
和席卷而去的狂飙降伏着他们；
他们喜爱的是恐怖，他们需要的是新奇。
“我手边可没大象啦！”我回答道，
“你可要别的什么？呵让娜，我准给你办到！
说吧。”于是让娜举起小手指向天边。
“那个！”她说。这正是暮夜降临的时刻。
我看见地平线上涌现出一轮巨大的明月。
因为这部诗集，诗人的小孙子、孙女——乔治和让娜成了巴黎人羡慕的传奇式的孩童。
1878年，维克多·雨果开始感到了疲惫，文学活动和大量的社会活动消耗了诗人太多的精力。流亡期间满怀激情写下的、诗人认为最具现实意义的《一件罪行的始末》终于在这一年出版了。5月30日，在纪念伏尔泰逝世100周年的大会上，雨果发表了动人的演说。他以19世纪的名义高度赞扬了18世纪这个“伏尔泰的世纪”、“启蒙主义的世纪”，称颂伏尔泰，“你同暴君和恶魔进行较量，获胜的是你……”
1878年6月17日，世界文学代表大会在巴黎召开，雨果担任主席，副主席是俄国著名作家伊凡·屠格涅夫。后者长期生活在巴黎，同福楼拜、龚古尔、都德等法国作家关系非常密切。这几位作家以及左拉、莫泊桑等都参加了这次大会。雨果主持了大会并在会上发言。在结束讲话时，雨果呼吁法国应对公社社员宣布大赦：“不实行大赦就不会有全民的欢乐！”
这么多繁重的工作压在一个已经76岁高龄的老人身上，如何能够承受。6月27日—28日夜间，天气格外炎热，加之和小路易·勃朗在筵席上就伏尔泰和卢梭之间的矛盾进行了激烈争论，老诗人出现了轻微的脑溢血。一度语言含混、行动迟缓，但神志很快恢复过来。
“像他这样的年纪，工作过分紧张是十分危险的。”医生对一脸着急的朱丽叶说。但第二天，诗人恢复了常态后，便不顾家人的反对仍然去找他的阿尔巴。他同这位美人一直藕断丝连。朱丽叶为雨果的健康考虑，央求他尽快去盖纳西岛。7月4日，雨果终于同意了。两人一同离开了巴黎，前往盖纳西。
女管家朱丽·歇耐（雨果夫人的妹妹，在岛上看管房子）热情地迎接他们。经过短期的休养，雨果很快就恢复了健康。11月7日，朱丽叶跟随雨果又回到了巴黎。
雨果委托保尔·麦利斯在巴黎为他们租下丁爱洛大街130号。洛克罗瓦夫人——即阿丽丝，在寡居6年之后，她征得公公的同意，于1877年4月3日同罗纳河省的议员、新闻记者爱德华·洛克罗瓦结了婚。现在她同丈夫、乔治和小让娜就住在附近——爱洛大街的132号。