1851年12月12日，雨果化名为菲尔曼·朗万走下了火车，抵达布鲁塞尔。雨果开始了他苦行僧般的流亡生活，每天开销仅三法郎零五个苏，比一个普通的中学生也好不了多少。他以调侃的语调写信给阿黛尔：“现在我坐在一个最卑微的位子上，谁也不会想把我从这个位子上拉下来了。”
虽然雨果离开了祖国，可是他的心仍然牵挂着祖国。当时另一个著名的法国作家大仲马经常为出版新书的事宜来到布鲁塞尔，他成了雨果了解法国的主要途径。
人民的情绪怎么样？作家们在沙龙里议论些什么？有什么新作问世，雨果总是可以从大仲马那里听到许多非官方的巴黎新闻，这些新闻常常使他激动不已。
雨果了解祖国的另一个途径是他那还住在巴黎的妻子阿黛儿。许多作家如贝朗瑞艾蒂耶常去看她，雨果请她把她在巴黎与人会见的情况和谈话的内容写成日记，这样他虽然远在千里之外，但是仍然可以感受到祖国的心脏的搏动。他决心继续战斗。
雨果一到布鲁塞尔，便拿起笔，开始了另一种战斗。他想把法国刚发生的事情原原本本地写出来，用他那火焰般的词句来鞭答恶棍，唤醒民众的心。流亡的同伴们都很赞成这个主意，大家都主动提供材料，都希望能借助于他那支生花妙笔，替大家出口气。雨果把计划中的这本书叫做《一个罪行的始末》。
流亡者大批来到了比利时，人人争抢向他讲述自己的所见所闻。在旅馆时，他隔墙住的是人民代表万尔西尼，当时，雨果就是和他一同奋勇当先反对政变的。
雨果在布鲁塞尔的中心广场附近租了两间房子。房主薛白尔大娘非常崇拜雨果，非常热爱共和国，因此她自愿做起了雨果的门卫。她常常对那些前来找雨果的人说：“先生，你不能进去，一次也不行，雨果先生正在写文章。”
能够冲破薛大娘的阻拦的只有拉莫里谐将军。拉莫里谐是波拿巴的死敌，他知道雨果在写批判波拿巴的书，非常高兴，因此每天早晨都要和薛大娘进行一番争吵，随后便冲了进来。
进门后，他总忘不了给雨果做个手势，叫他别动，自己则坐在一边抽烟。待雨果停笔时，他就破口大骂，骂窃国贼波拿巴，骂得惊天动地，随后便请雨果把他写的文章读给他听，雨果那慷慨激昂的文章使他觉得很痛快，于是他便心满意足地走了。
可是第二天，他又来了。这位愤怒之神为天才雨果添上了羽翼，使他写作得更快。
阿黛尔于12月19日来布鲁塞尔接受丈夫的指示。她负责以假名和假地扯，把大量的小册子和文件从巴黎寄来。大仲马为了躲愤，也来到了布鲁塞尔。他负责传递信件。
雨果劝他的妻子和孩子们省吃俭用。他再次把自己想象成破了产，而且他也说过自己破了产。
比利时总理罗尔埃送给雨果一批衬衫，他欣然领受。而且，当时波拿巴大概已经正式把他列入放逐名单，这样，他的财产，就连他的动产都有可能被抄没。其实，他们并没有触动他，因为阿黛尔可以不受阻拦地代她丈夫领取作家协会的薪金，甚至还可以领取法兰西学士院发给他每年1000法郎的津贴。
政府当局不愿落个迫害大诗人的骂名。雨果的夫人甚至没费吹灰之力便把他的30万法郎的法国公债转到了他手中，谨慎的雨果马上换成新办的比利时王家银行的股票，可是这也通过布鲁塞尔市长夏尔·德·勃鲁盖尔签字。
这位市长几乎每天都来看雨果，他曾向一个朋友透露说：“雨果并不像他装出的那么穷，我知道，他流亡此地并非毫无准备，身无半分。我就知道他还有笔储蓄。”
12月末，雨果离开旅馆，在大广场区16号另租了一间几乎是空空荡荡的房子，室内只有一张长靠背椅，一张桌子，一面镜子，一口裂了的平底锅和六张椅子。他居住那里，每月总共花费100法郎，每天只吃一餐饭。
其实，雨果希望只靠他自己的收入过活，不动用已储蓄起来的资本，以确保他死后家人能维持生计，他知道他们没有挣钱的能力。
阿黛尔在巴黎的一举一动，无愧为一个流亡者之妻。她为丈夫在政治上发挥的作用所感到的骄傲，更甚于他在文学上所赢来的荣耀。一些忠心的朋友去看望她，探询她和雨果的近况，称颂雨果的胆略和在大街上反抗政变的英雄气慨。
阿黛尔在给雨果的信中写道：
共和党人个个惊讶不已。他们曾说过：“雨果是一个进步人士，也许还是一个卓越的演说家，一个伟大的才子，可是一旦时候到了，他会投入战斗吗？”当时他们从各方面怀疑你。既然你经受了考验，使他们完全满意，他们便为当时怀疑你而感到遗憾了。
阿黛尔和雨果一样，在一种高尚的态度中得到慰藉：“我感到生活中乌云密布：你流亡他乡，儿子和朋友身陷囹圄。我心里有点痛苦，但我发自内心的情感却得到了满足。使我忧伤的事情只是短暂的；叫我自豪的事却会伴我终生。”
在布鲁塞尔，雨果正在以他那种强烈的情感所带来的干劲与乐趣拼命地工作。4月份，巴黎传闻他将获得安全通行证。于是，他便叫人发表了下述声明：
以前，维克多·雨果先生曾托人要求波拿巴先生准许他返回法兰西；但现在他没再向对方提出过这方面的申请。
雨果放弃了5月份完成《一个罪恶的历史》的计划。见证缺得太多了。他本想先发表一篇不完整的文章，可是无论哪家出版商都不敢用他的手稿。胆小怕事的比利时政府不愿冒强邻报复的风险。雨果便决定先撰写和发表一本抨击性的小册子：叫《小拿破仑》。这是一篇扣人心弦的即兴作品，是一份具有强烈的拉丁特色的控诉书。这里面有西赛罗的激情，塔西陀的活力，朱韦纳尔的诗意。
顾名思义，雨果这本小册子是专门揭露路易·波拿巴的为人、骗术、阴谋和罪恶的。雨果相信这本小册子一定会受到读者的欢迎，他在给妻子的信中写道：
这是智慧对暴力颇富情感的回敬。墨水瓶反对大炮，墨水瓶一定会摧毁大炮。
雨果的这篇抑扬顿挫、节律有致、富有韵味的散文，表达了他愤怒的激情，像诗一样美。笔调时而有如预言家的嘻笑怒骂，时而有如斯威夫特式的冷嘲热讽。
为了能连续不断工作，雨果免去了所有的晚餐和家庭的欢聚，而这些通常是流亡者的慰藉。不管是终生流亡，还是暂时流亡，他都感到相当幸福。
《小拿破仑》脱稿后，雨果在流亡者的集会上朗诵道：
波拿巴先生，你应该了解天理良心是什么，哪怕是稍微了解一下也好。世界上有两样东西，名叫善和恶。你觉得这新鲜吗？那就只好向你解释一下：撒谎——不好，背叛——丑恶，屠杀——更其下流。这样做虽然有利，然而天理难容。是的，大人，天理难容！谁敢反对？谁不允许？谁能禁止？波拿巴先生，你可以称王称霸；可以得到八百万选票来支持你犯罪；可以得到1200万法郎来花天酒地，摆布参议院并把西布尔安排在里面；可以有军队、大炮、要塞；可以有在你面前匍匐膜拜的特罗隆之流和巴罗什之辈；你可以做暴君，当太上皇——但是，冥冥之中有一个无形的陌生过客将站在你面前大喝一声：你不能这样做！
《小拿破仑》成了流亡者的精神寄托。许多流亡者，大仲马、瑞拉泰等不时光临雨果简陋的住处，为的是能对《小拿破仑》新写的章节先听为快。
文稿完成后，对文稿充满了希望的雨果不得不考虑下一步的走向。很显然，文稿一旦付印，势必对雨果和雨果一家的财产产生直接的威胁。波拿巴政府已经公布了反对“滥用书报法”。按照这个法令，犯有这种“罪行”的法国人，即使身在国外，也要被罚款或者被没收财产。
雨果决定只要能够得到比利时政府的批准，就把全家搬到布鲁塞尔来，或者干脆搬到英国所属的泽西岛去。布鲁塞尔市长已经向他透露，比利时政府很可能要颁布一项法令，禁止对友邦政府首脑进行侮辱性攻击。如果真的那样，他肯定存在被比利时政府驱逐的可能性。
一番权衡之后，雨果还是决定把下一站放在泽西岛。布鲁塞尔距离巴黎太近了。为此，他委托阿黛尔对他在巴黎的财产，一些房屋、家具、古玩图书等，进行了大拍卖。虽然这场拍卖使雨果几十年精心搜集的藏品损失殆尽，但是为了《小拿破仑》的出版，他只有忍痛割爱了。
1852年8月1日，在以主席身份主持了一个流亡者的盛大宴会之后，雨果和他的儿子查理·雨果一起乘船离开比利时。
离开比利时的时候，雨果豪迈地说：“我为了打击十二月阴谋并扭住国贼，所以从法国流亡出来，现在为了写《小拿破仑》又从比利时流亡出来了。没有什么，多被放逐一次，如此而已。”
雨果和儿子从布鲁塞尔启程。岸上站满了送行的人，他们中大部分是居住在布鲁塞尔的法国流亡者。当雨果登上邮船时，妇女们挥舞着头巾，男人们则高喊“维克多·雨果万岁！”
雨果禁不住热泪盈眶，他高喊着：“共和国万岁！”来回答人们。
这时候下起了滂沱大雨，但雨水并没有驱散送行的人们，所有的人仍然站在岸边，直到邮船离去。人群中可以见到大仲马的白色坎肩。
泽西岛是一个接近法国的小岛，岛上长满了郁郁葱葱的植物，到处点缀着美丽的玫瑰。
雨果很快就爱上了这个被他称之为“世界上最好的流放地”的小岛。当然最使他兴奋的还是《小拿破仑》出版发行的成功。
它印行了100万本以上，英、德、西班牙都有译本。人们整千本整千本地偷运进法国，大仲马说：“我们的一个朋友最近就在小拿破仑的半身像里还偷偷地藏了二十几本带进了法国。”
路易·波拿巴对这“该死的谤书”大伤脑筋，他雷厉风行地禁止，但是没用，而且越禁止，看的人越多，没有书，那就借一本来抄。波拿巴现在应该认识笔杆子的力量了。
1852年8月。在一个火热的夏日，三位旅客，维克多·雨果夫人，她的女儿小阿黛尔以及她的追随者奥古斯特·瓦克星一同乘船抵达泽西岛。他们途经南安普敦村，对头一次在那里吃到的烤牛肉留下了极坏的印象。
两天后，雨果和夏尔也赶到金苹果旅店和他们会合。流亡在泽西岛的人数相当多，但身份要比在市鲁塞尔的低。他们来到码头迎接诗人，和当地居民一起向他欢呼。
维克多·雨果由于长期勤奋工作，不修边幅，样子变多了。这位头发卷曲，风流倜傥颇具上流社会派头的人物，完全变成了一个粗犷的劳动者。饱经苦楚的脸庞显得憔悴，眼睛炯炯有神而又专注。
不过，他很快便恢复了那种快活和清醒的神智。
雨果一家在海边租了一座单门独户的房子，人们叫它“望海阁”。每天雨果都在海边漫步，遥望远方薄云镣绕的祖国海岸。
每天清晨，当小岛还沉浸在睡梦之中的时候，雨果便站在自己的写作台旁挥笔写作了，他喜欢站着写作因此他的书桌是特别的，特别高。继雨果之后美国的著名作家海明威与雨果不谋而合，也喜欢站着写作。雨果写得很快，几乎无一涂改，那些诗句是昨天在海边散步时酝酿成熟的。
雨果兴犹未尽，他觉得应该继续写下去，这次他决定写一部诗集。他说：“坏蛋们既然只有一面被烤，那我把他们翻过来烤。”
不论是白天黑夜，人们都看到这个能言善辩、义愤填膺的人沿着海滩和沙丘，朝罗扎尔悬崖峭壁方向漫步。整整一个秋天，愤怒激发他写出许多出色的诗篇。
不但写了《土伦》《诺克斯》《赎罪》，还写了《良心》与《基督初次接触坟墓》。自1852年11月以来，连同在巴黎时留下的那些反对“正直人”的诗篇，他一共写诗1600行。他希望能写到3000行。诗中充满着大量的讽刺和诅咒。任何流亡者，由于与行动脱节，失去了有节制的观念，往往会变成一个糟糕的政治家，但也可能变成著名的诗人。
雨果也和但丁一样，在他把怒火倾泄到诗篇中的同时，又在为自己的这种怒火辩解。
雨果给这本怒斥罪恶的诗集取名为《惩罚集》。与《小拿破仑》相比，这本诗集在揭露波拿巴的罪恶和本质方面显得更加痛快淋漓。同时，在诗集中我们不难看到雨果本人那高大的形象，感受到他的愤怒和决心。
《惩罚集》在比利时出版了两个版本，一种是全本，另一种是删节本。公开卖删节本，实际送全本，这样便逃避了比利时的法网。《惩罚集》也被偷运到了法国，再次引起了轰动。
1853年至1856年间，雨果的激情与日俱增，他不但写出《沉思集》中的宗教诗篇，还完成了两部神学长诗《撒旦的末日》与《上帝》的大部分。
宗教、深渊、帝国、空间和时间，雨果翱翔在这一切之上，视野之宽广只有但丁和弥尔顿才能相比。在《撒旦的末日》这首诗里，他刻划了黑暗中天使的毁灭，并用赞美的诗句歌颂了基督的激情。
至于定名为《上帝》的那首长诗，则是思想在星星、世纪、宗教之间的奔驰。
政治流亡者的生活条件是艰苦的。艰苦对于雨果来说是可以忍受的，但不能接受。
一旦寄居国的政策要求和流亡者的祖国亲善，流亡者便必然成为牺牲品。
1854年的一个下午，雨果正在散步，突然看到人们正往海边的一个广场奔走。雨果是个极富好奇心的人，又正闲着，也就随着人群走。到了海边广场，才知道是刽子手正在对一名死刑犯执行绞刑。
早在1828年，雨果就表示坚决反对死刑，为此他还专门写了一本书《死囚末日》。他认为对罪犯实施死刑、以暴易暴是对人类道德文明的羞辱。因此，当他目睹泽西岛这桩惨剧之后，他彻底忘记了自己流亡者的身份，当天晚上就用辛辣嘲讽的笔调，给英国公共事务大臣帕麦斯顿勋爵写了一封信。
他在写给帕麦斯顿勋爵的信中严历地写道：
先生，您把那个人吊了起来。好极了。我衷心祝贺您。在这件事好几年以前的一天，我曾经和您共进过晚餐。我想，您也许已经忘记了这件事；可我还记忆犹新。当时您给我留下的最深印象，是结领带的那种罕有的方式。有人告诉我，您以善于为自己打领结而扬名。现在，我发现，您还颇精于为他人打领结啊！
雨果是有理的，可是一个外国人，有理便是错。
虽然雨果在信中用了许多自嘲的笔调，但他对于野蛮死刑的不满与讥讽是不言而喻的。不过帕麦斯顿到底还是个绅士，他笑了一笑，把信往秘书手里一推，也就不了了之了。
到了1855年，雨果与英国当局的矛盾日益加剧了。
1855年，小拿破仑前来英国拜会英国女王，流亡者们在小拿破仑必经的道维尔市的墙壁、栅栏上贴了许多传单，上面写着：“您到这儿来有何贵干？您打算来凌辱谁呢？是凌辱以英国人民为代表的英国，还是凌辱以法国的流亡者为代表的法国？”“您给这个国家带来了什么呢？这是托马斯·莫尔、莎士比亚、弥尔顿、牛顿、瓦特、拜伦的国家，这个国家不需要学习蒙马特尔街心花园那类龌龊的榜样。”
英国警察只得到处撕扯传单，累得筋疲力尽。于是在英国国会上提出了雨果的问题。
在1855年10月，维多利亚女王回访法国皇帝时，流亡伦敦的法国共和党人费里克斯·比阿用粗俗的方式攻击了女王。他拿这次访问开玩笑，说她在访问中“替康罗贝尔洗澡，笑饮香按酒，拥抱热罗姆”。比阿致女王的这封公开信是在泽西岛流亡者办的报纸《人类》上发表的。
比阿说：“为了爱上这位盟友，您牺牲了一切，牺牲了女王的尊严、妇女的谨慎、贵族的骄傲、英国女子的情感；牺牲了身份、血统、性别；牺牲了一切乃至廉耻。”
《人类》报的主编查理·理贝劳尔元帅，该报的董事皮昂西尼上校以及一个叫托马的普通售报员，都根据英国政府的命令被驱逐出境。
雨果对《致女王的公开信》持保留意见。他觉得信的格调低，但他又为受害者辩护，在一份措辞强烈的抗议书上签了名，反对驱逐他们出境。
10月27日，要塞司令圣克勒芒彬彬有礼地通知雨果和他的两个儿子，根据帝国的决定，他们不能在本岛继续逗留。给他们一个星期作准备，限期11月4日离境。
10月31日，雨果和他的小儿子离开了泽西岛，启程前往附近的格恩济岛。
阿黛尔母女和瓦克里随身带着35件行李，最后赶到。有一次，一只沉重的箱子在搬往小船搬时，在波涛汹涌的海面上摇晃了好几下，险些掉入海中。那里面装的是《沉思集》，《悲惨世界》，《撒旦的末日》，《上帝》，《街头与林间之歌》的手稿。这么多不朽的名著同时遭遇这么大的风险，恐怕是空前绝后的。
格恩济岛是一个三角形的岛屿，这里曾经是流放犯人的地方，岛上高耸着一个个悬崖。在一个悬崖顶上有一座三层木质结构的楼房，从这里可以鸟瞰英吉利群岛的全景。
这座楼房便是雨果在格恩济岛上的“上城别墅”。现在已辟为雨果纪念馆。当年雨果买下这座楼房后，很想把它变成一件艺术品，因此他作了精心的装修，不少房间的格局都是雨果亲自设计的。
底楼客厅的墙壁上挂着木制镶板，上面画着《巴黎圣母院》的场面。楼下还有一个台球房，墙上挂着雨果亲手作的面。饭厅壁炉的炉台上放着一尊救苦圣母像，像下有四句铭言：“人民还小，但将要长大。在你神圣的怀抱里，丰产的母亲啊！逐步争取世界的圣洁的自由神啊！你抱着圣婴，圣婴抱着天下。”
雨果非常喜欢岛上深居简出的生活，孤独的状态使他文思泉涌，他完成了诗集《默想集》、史诗《古今史吟》、长篇小说《悲惨世界》、《海上劳工》《笑面人》等。
但是，雨果的妻子和女儿却无法适应这种单调、缺乏社交的生活，1859年，雨果夫人便带着女儿前往伦敦治病散心。雨果看着邮船载着妻子与女儿离开了格恩济岛，他心里很矛盾。
5月份，阿黛尔和女儿回来了。在6月份的时候，雨果平生第一次染了重病，好几个星期里，一个痈疮使他面临生命的危险。
1859年的整个下半年里，由于烦恼一直缠绕着雨果。而孩子和妻子们离开岛换换空气的时间也越来越长了。
1859年，波拿巴也作出了开明的姿态，他颁发了对流亡者，包括对雨果的特赦令。许多流亡者都返回了祖回，但是雨果却不愿回去。在雨果看夹，回去，便意味着向帝国低头，承认自己失败，跟暴君和解，这是绝对不可能的。在给一位老朋友的信中雨果写道：“责任不允许我回国。我感到很痛苦，但我这一行动是正确的。”
他在一份声明中说道：“我忠于在良心面前承担着责任，我要在有自由的流亡生活中坚持到底，直到法国恢复自由的时候，我才返回。”