霍英东幼年丧父，家境贫寒。尽管如此，母亲刘氏还是尽量让霍英东读书。每天，刘氏都给霍英东一毛钱，让他用来搭电车和吃千饭。但霍英东从小懂得节俭，为了节省每天来回的6分钱电车费，他每天提前动身，背着书包步行半小时上学，下午放学后，又步行回家。中午，他就花4分钱到学校旁边的小食店吃糯米饭和大松糕。课间休息时，食品店店员在学校大门的铁栏处向学生兜售雪糕和面包，但霍英东总是舍不得掏钱去买。霍英东是个懂事的孩子，除了省吃俭用、减轻母亲的负担以外，很多时候，下午一放学，他就赶回家，帮助母亲记驳运生意的账目，或外出送发票，分派运费给舢板客。
学校毕业后，霍英东当了铲煤工。他虽然是穷人家的孩子，自小吃苦耐劳，但由于当时身体弱小，所以铲煤这份工作，他干得非常吃力。每天从早到晚，站在火炉口，被热气煎熬着，灼热难耐，又苦又累，他一声不吭，咬咬牙就过去了。后来，霍英东又来到启德机场打工，每天工钱是7毛半，当时粮食奇缺，机场每天给每人配给6两米，但必须从工钱中扣去两毛，实得5毛半。机场在九龙半岛，霍英东家住港岛湾仔，来回2毛钱路费，那是怎么也省不得的开销。至于其他路段，他就步行。每天花在步行上的时间，至少要两个小时以上。霍英东时常感慨地对孩子们说：“一天7毛半，我想全世界都没有这么低的工资。扣掉粮钱和过海轮渡的钱，只余下3毛半，但是这3毛半其实也不够我坐车来回家里和码头的巴士，所以我只好步行……”
霍英东每次将这些“陈年旧账”翻出来讲给孩子们听时，孩子们都受到了很大的触动。孩子们说：“与父亲年轻时相比，我们现在的生活不知道要好上多少倍。如果我们还不知足，任意挥霍，那就太对不起父亲了。我们所应该做的，就是学习父亲艰苦创业的精神，将父亲的精神发扬光大。”霍英东的子女从小就懂得节俭，知道创业的不易，而且个个是理财的好手，这不能不说是霍英东常讲“家史”的结果。