从那天开始，差不多用了三个月的时间，伏盖寡妇利用高里奥先生的理发匠，在打扮上花了一些心思。她说公寓里来往的客人都很体面，自己不能不修饰得和他们相称些。
高里奥先生和所有白手起家的人一样，早年不得已的节省已经成为习惯。
第一年将尽，寡妇对他十分猜疑：这个富有七八千法郎进款的商人，银器和饰物的精美不下于富翁的外室，为什么住到这里来，只付一笔在他财产比例上极小的膳宿费呢？这第一年的大半时期，高里奥先生每星期总有一两次在外面吃晚饭，随后，不知不觉地改为一个月两次。这种改变被认为一方面由于他的财产慢慢减少，同时也由于他故意跟房东为难。第二年年终，高里奥先生要求搬到三楼，把膳宿费减为九百法郎。他甚至整整一冬屋里没有生火。伏盖寡妇要他先付后住，高里奥答应了，从此她便称他高老头。
关于他降级的原因，大家议论纷纷，可是始终猜不透。
总之，大家把他当做恶劣的嗜好、无耻、低能所能产生的最神秘的人物。不过无论他的行为或恶劣的嗜好如何要不得，人家对他的敌意还不至于把他撵出门外——因为他从没拖欠过房饭钱，不像那个伯爵夫人白吃白住了半年溜掉了。几个月后，西尔维一天早上起身之前，听见楼梯上有声音，一个年轻的女人轻轻巧巧地溜进高里奥房里，打开房门的方式又像有暗号似的。胖子西尔维立即上来报告女主人。伏盖太太带着厨娘去凑在门口偷听，耳朵里掠到几句温柔的话，两人会面的时间也有好一会了。高里奥送女客出门，胖子西尔维马上抓起菜篮，装做上菜市的模样去跟踪这对情人。
她回来后对女主人说：“太太，高里奥先生一定钱多得做怪，才撑得起那样的场面。你真想不到，有一辆漂亮的马车等在那里，我是亲眼看着她上去的。”
吃晚饭的时候，伏盖太太去拉了一下窗帘，把射着高里奥眼睛的那道阳光遮掉。
“高里奥先生，你艳福不浅呢！”她暗指他早晨的来客说，“嗬！你的眼力真好，她漂亮得很啊！”
“那是我的女儿！”他回答时那种骄傲的神气，让房客们以为是老人故意撑面子。
一个月以后，又有一个女客来拜访高里奥先生。他女儿第一次来穿的是晨装，这次是晚餐以后，穿得像要出去应酬的模样。“哎呀！竟有两个！”胖子西尔维说。她完全认不出是同一个人。过了几天，另外一个高大结实、深色皮肤、黑头发的女儿，跑来见高里奥先生。
“哎呀！竟有三个！”西尔维说。
这第二个女儿初次来的时候也是早上，隔了几天又在黄昏时穿了跳舞的衣衫，坐着车来了。
“哎呀！竟有四个！”伏盖太太和西尔维一齐嚷着。她们在这位阔太太身上一点没有看出她上次早晨穿扮朴素的影子。那时高里奥还付着一千二百法郎的膳宿费。伏盖太太觉得一个富翁养四五个情妇是挺平常的，把情妇充做女儿也很巧妙。等到他降级到九百法郎之后，有一次她看见这些女客之中的一个下楼，就恶狠狠地问他打算把她的公寓当做什么地方。高老头回答说这位太太是他的大女儿。
“你的女儿有两三打吗？”伏盖太太尖刻地说。
“我只有两个女儿。”高老头答话的口气非常柔和。
快到第三年时，高老头还想节省开支，搬到四层楼，每个月的房饭钱只有四十五法郎了。他脱下宝蓝大衣跟那些华丽的服装，不分冬夏，只穿一件栗色粗呢大褂，羊毛背心，灰色毛料长裤。他越来越瘦了，在住到圣·日内维新街上的第四年，他完全变了样。六十二岁时的面条商，原来看上去不满四十，像个又胖又肥的小财主，如今忽然变得老态龙钟，面色如土。
一天黄昏，刚吃过饭，伏盖太太挖苦他说：“啊，喂！她们不来看你了吗？你的那些女儿呢？”口气显然是怀疑他做父亲的身份。
“有时候来。”他声音颤抖地回答。
“哎呀！有时你还能看到她们！”那些大学生齐声叫着，“真了不起，高老头！”
老人并没在意他的回答所引起的嘲笑，仍然迷迷糊糊的。巴黎生活特有的诱惑，使人们一走出圣·日内维新街便忘记了他们所取笑的可怜老头。伏盖太太对什么事都爱胡乱猜想，她说：
“要是高老头真有那么有钱的女儿，就跟那些看望他的女客一样，那他绝不会住在我的四层上，每月只付四十五法郎的房饭钱，也不应该穿得像穷人一样就上街了。”
似乎没有什么证据可以推翻这个结论。所以到1819年11月底，这幕惨剧爆发时，公寓里每个人都对可怜的老头有了极其肯定的意见，认为他不曾有过什么妻子儿女。