此后，皇帝给他的妻儿写了很多封书信，始终杳无回音。虽然他自己丝毫不奢望土地、金钱，但仍给同帕尔玛女公爵签订了协议的妻子写信说，她应该力争托斯卡纳或是附近的地区，这种与厄尔巴岛相近的领地便于他们彼此联络。他还告诉她途中最适合在何处停留过夜；御医科维扎会为她推荐有益身心的温泉胜地；她可以带走自己所有的珠宝首饰。然后，他又致信宫廷总管，下令将不属于皇后个人的钻石珍宝归为国库，因为它们都属于法兰西。
与此同时，政府派人前往杜伊勒里宫，清点查封皇帝的所有财产，黄金、证券等总计一亿五千万法郎的私人资产全部没收，实为侵占偷盗。这是拿破仑从自己十四年的俸禄中节省出来的。银器、个人生活用品、金质鼻烟盒，甚至绣有N字样的手绢都被拿走了。这项搜查令的签字者中就有塔列朗。昨天，皇帝还是全欧洲最富有的人，今天，他只能揣着三百万法郎，沦落到厄尔巴岛。
他的情绪极为低落。还有什么事能令他更失望的呢？吕西安在他退位后的第二天，便给教皇写信，换得了一个罗马亲王。富歇曾在最后几星期布下了阴谋陷阱，如今缪拉听从了他的建议，进军罗马，把军队调往托斯卡纳，入侵埃利兹的领地。又由于妻子卡罗利娜的一贯鼓动以及与英国的勾结，托斯卡纳最终落人英国人手中。埃利兹却在关键时刻出错了牌，失误地选择了忠实于拿破仑，结果在妹妹的军队打来之前落荒而逃，并在一家山间小店中生了个孩子。可刚一到达博洛尼亚，就被奥地利军擒获了。所有这些人里，只有热罗姆夫妇行为仍属得当。
最后的时光在阴森恐怖的沉默中飞逝而过。如果有马车驶入庭院，人们便会仔细倾听，有人来向皇帝告别吗？事情还没有彻底结束，不会有人来的。不过，就在他离开前的几天，有位蒙着面纱的妇人趁着夜色来到了这里，没有人认识她，也没有人为她通报，瓦莱夫斯卡伯爵夫人等了整整一夜，直至清晨才离开，并给拿破仑留下一封信。当他派人再去请她时，她已经走了，他只好写信倾诉衷肠：
“玛丽！你对我的眷恋深深打动了我，这些真情一如你纯洁美丽的灵魂，一如你善良温柔的心地……怀着爱恋之情思念我吧！永远不要怀疑我！N”
当皇帝再次恢复了往日的平静心情时，便立刻充满了新的斗志。他不是还有一座岛可以利用吗？谁人能预知未来！科西嘉也不过是地中海上的一小片土地。他命人找来一些专业文档，研究起厄尔巴岛的地理和统计情况：“空气清新，民风淳朴，希望我亲爱的路易丝也能喜欢这里。”尽管他需要四百名近卫兵，可所有人都想追随他，即使抛妻弃子也在所不惜。其中有人自二十二年前，他在土伦当上尉起就一直跟着他，从开罗到莫斯科，经历了六十余次战斗。
拿破仑的情绪渐渐好转，与宫廷总管谈到了宿命安排，谈到在最后几次战役中他的大难不死。他说：
“轻生是懦弱的表现。我看不出这种逃避现实的行为有什么伟大可言，就像个一把输掉所有钱的赌徒……自杀与我的处世原则，以及我在世界上所处的地位毫不相符。”他们在露台上走来走去，他笑言：“不过人们常说，好死不如赖活着！”
现在，所有手续已经办妥，四位陪同他去厄尔巴岛的盟国专员准备就绪，今天午后即将起程。他给妻子写了一封简短的信，最后说道：“再见了，我亲爱的路易丝。信任你丈夫的勇气、平和，以及对你的感情。N另：亲吻小罗马王！”
出发仪式看似很轻松，因为根本没有人来送别。
不过，庭院中老近卫军自动集合成方阵，以无数双眼睛注视着他一步步走下台阶。他必须说些什么，但说什么呢？二十年来，他每次只是在战斗前或胜利后向他们发表或鼓舞或感谢的讲话。如今，虽然并无胜利，但他仍要感谢他们，为了曾经的上百次胜利感谢他们。他往前走了几步，立刻响起一片“皇帝万岁”的呼声，于是他站在队伍中说道：
“老近卫军的士兵们！在此我要向你们告别。二十年，我一直看着你们坚定地走在荣耀的光辉大道上。在刚刚过去的日子里，你们始终是勇敢、忠诚的典范，与好运当头的岁月别无两样……不过，可能会爆发内战，所以为了祖国利益，我必须牺牲自己。我走了……而你们，我的朋友，继续为法兰西效力吧。我唯一的渴求，便是它的繁荣富强。我所有的希望都寄托在你们身上。不用为我的命运扼腕叹息。我之所以决定活下去，也是想为你们增添威名，将我们的丰功伟绩叙写成书。再见了，我的孩子们！我要把你们全都刻在心里。至少让我再亲亲你们的旗帜吧！”
一名将军手执大旗走过来，拿破仑拥抱了他，又吻了那面旗。“再见，战友们！”他登上马车，“皇帝万岁！”就这样，他离开了。
这些两鬓已经斑白的老兵，呆呆地站在原地哭号起来。他们的父亲远去了。他从没有如此动情地向他们讲话。古罗马的庄严，宣言中的热情，所有振奋人心的比喻、鼓舞，都随着战争的狂热逐渐消失。这位皇帝说话的口吻就像军事统帅，而这位军事统帅说起话来又像个旅长。他的话语充满阳刚之气，措辞严谨而简短有力。亲吻军旗，这是一种他从不曾有过的举止姿态。士兵们会把他们伟大的皇帝，亲切的小班长今天的这一席话，讲给孙子们听，孙子们又将把它转述给自己的后辈们，代代相传，直至永远。
他刚刚离开这个自幼赖以生存的军人氛围，很快就遇到了群情激奋的民众。老兵们的哭声还在身后，这里却是一片呼喊、咒骂！当车队行至普罗旺斯时，他耳边传来了路人疯狂的怒吼之声：“打倒暴君！处死这个卑鄙的家伙！”在乡间，更换马匹之际，暴躁的妇女们围着他的马车嘶喊，抛扔石块，还强迫他的车夫高呼“国王万岁！”在一个村庄的驿站，人们扎了个稻草人，扮成拿破仑的样子，吊挂在绞刑架上，浑身涂满了污泥和血迹，并尖叫着：“处死杀人犯！”马车以最快的速度飞驰而过，远行已成为逃难，这是拿破仑有生以来的第一次逃跑。
皇帝僵直地注视着人群，听任他们吼叫辱骂。难道这就是当年追着马车，争相一睹皇帝风采的民众吗？这些农民、市民，所谓的人民，就是法国对他承诺的报答吗？正是他们。早在他第一次凯旋进入巴黎，人们为胜利者欢呼喝彩之时，他便以那藐视人类的先见之明，预料到今日发生的一切。他蜷缩在车里，脸色苍白，沉默不语。每到一站，盟国专员都不得不跳来，为他护住马车。他能无动于衷地忍受这些吗？他会抽出利剑吗？可他并没有武器傍身，也只有穿着普通便服，而非绿军装，才能离开法国。他还曾经历过一次类似的遭遇，那是雾月十九，激进分子围着他挥舞怒拳，当时他并未出剑。和今天面对暴民一样，他无能为力，因为他没有掌控或说服这些民众的才干。他不是一个护民官，而是一个皇帝，一个只会发号施令的人。一旦他奋起反抗，那将是一场战争。
他需要走动走动！需要新鲜空气！在一条寂静的路上，他让车停下来，卸了一匹拉车的马，又在帽子上别了一个白色帽章，然后跃上马，走在车队前面，仆从们紧随其后。一直到埃克斯。他们先行住进一家小旅店，拿破仑自称为英国上校，坎贝尔，这是他的第六个名字。
店里服侍他的普罗旺斯侍女喋喋不休地说道：“应该在拿破仑到海边前就干掉他！”他连连点头：“没错，没错。”当他和仆人单独在一起时，便把头靠在对方肩上小睡一会儿，以弥补两天来的彻夜难眠。仁慈的大自然，这是你赐给这位伟大战士最好的礼物！当他醒来时，眼前立刻浮现出狰狞喧闹的恐怖景象，他不禁一颤，轻声感叹道：
“再也不能发生这种事了，绝不！我在厄尔巴岛会比以往任何时候都快乐。专心研究科学，不再想什么欧洲王冠的事了。你已经看清了这些民众的真面目。我鄙视人类，难道还有错吗？”
等马车到来后，考虑到一路来遇到的危险，他决定再次改换服装。由于时间紧迫，他便急忙穿上了奥地利专员克勒尔的将军军服，头戴普鲁士专员特鲁西塞斯的上校军帽，肩披俄罗斯专员苏沃洛夫的斗篷。这一身三种盟军衣帽的混合搭配，仿佛狂欢节上的装扮，俨然一个流落荒野的小丑。拿破仑皇帝就是以这般模样，才得以离开自己的国家。
终于抵达弗雷瑞斯了！这是他当年从埃及回国登陆的港口。那时他是一名败将，丢掉了法国所有的战舰，理应受到军事法庭的审判。但是，他却在返回巴黎的途中，穿过无数道凯旋门，被群龙无首的民众夹道欢迎，因为他往日的辉煌战绩令人们无限景仰。可今时今日，此路逆向而行，迎接他的竟是飞石伤人，易装避难！十五年，一个国家重获新生，一个民族名扬天下；十五年，整个欧洲战火连连，阵亡士兵的尸骨在寒墓中腐烂，奋勇杀敌的英雄在欢呼中凯旋，出身陋室的元帅在华庭中安居，拥护或反对这个胜者之国的思想在纷争中此起彼伏，只有一位异国岛民，凭借与生俱来的才干，将那顶金叶冠戴在了自己的头上。