谁也不能否认，由于他长年累月衣衫单薄，腿上伤痕累累，一直不能愈合；他经常挨饿，１０岁时就推着小车走村串户，早出晚归，冬天也不停歇。然而他不愿理解，这些千真万确的事实和我没有吃过所有这些苦同样千真万确的事实却无论如何得不出这些结论：我过得比他幸福，而他可以因腿上的伤口抬高自己；他可以从一开始就认定，我不会赞赏他当时的辛劳困苦，正由于我没有受过同样的苦难，我就必须对他感恩不尽。我何尝不想听他没完没了地讲他年轻的时候，讲他的父母，但是他以一种夸耀和争吵的语气来叙述这些，可真让人难受。
高大魁梧的赫尔曼给敏感的卡夫卡造成了心灵上的创伤，假如他听到了儿子的反驳，他会把两手一拍，气恼地大喊大叫："今天还有谁懂这些？孩子们都知道些什么？"有时他还会援引亲戚的例子，比如他的小妹，卡夫卡的朱莉姑妈，她"同父亲所有的亲戚一样长着一张阔脸。她的眼睛颜色或位置有点不大对劲。"从１０岁开始，她就做起了帮厨女工。"寒冬腊月，她穿着一条单薄的湿裙子，急匆匆地忙活着，她腿上的皮肤裂开了，单薄的裙子上结了冰，一直要到晚上睡觉时才会干。"赫尔曼卡夫卡后来到了布拉格，与他的兄弟姐妹不同，他抱着渴望飞黄腾达的野心，希望获得社会地位，住在尊贵的街区（这可以理解为一家人在布拉格旧城频繁搬迁的动机），同说德语的社会精英站在一起。卡夫卡总是对父亲的实用智慧和力量充满钦佩，同时又对他的自吹自擂深感厌恶。另外，父亲对他的创作丝毫不感兴趣，这也是弗朗兹卡夫卡不能原谅的。
赫尔曼１４岁就离开了家，独自外出谋生，他推着一辆手推车，走南闯北，贩卖货物。２０岁时，他参军入伍，三年后当上了排长。后来，高唱过时的军歌成为他表达自己忠于奥地利的方式。同样，由于利益上的需要，他也曾在布拉格鼓吹自己对捷克的热爱，甚至向人口调查员谎称他们一家人使用捷克语。从弗朗兹这方面来说，他是不肯参与这种欺骗的。一家人实际上都说德语--尽管据说赫尔曼在骂人时用意第绪语。
为了纪念居住在波希米亚的祖先，赫尔曼卡夫卡到达布拉格后，把"卡夫卡"的姓氏注册为商品商标。他经营的文具上画着一只寒鸦--在捷克语中，"卡夫卡"就是寒鸦的意思--以提醒人们记住哈普斯堡皇室对犹太人的压迫。１７８１年１０月，约瑟夫二世颁布了《宗教宽容诏书》，按照现在的标准来看，所谓的"宽容诏书"并非名副其实。这项诏书本着宗教的宽容原则，向犹太人开放各种形式的贸易和商业（尽管犹太人仍然不能在乡间拥有土地），目的在于更好地调动奥地利犹太人的积极性，使他们为国家服务。同马尔库塞在《压制的宽容》中分析的一样，这条法令在放松一只手的同时收紧了另一只手。政府鼓励犹太人建立他们自己的小学，条件是必须接受政府监督。大学和高等教育学院向犹太人开放。但政府同时禁止在商业记录中使用希伯来语和意第绪语。１７８２年颁布的法令要求犹太人放弃犹太姓氏，采用德语的名和姓。当时很多人选用了动物和鸟类的名字，"卡夫卡"这个姓氏或许就是卡夫卡的祖先在１８世纪末自己挑选的，也可能是政府强加给他的。"如果你发现犹太人不喜欢他们自己的名字，不要为此惊讶"，约瑟夫罗斯这样写道："对犹太人来说，他们的名字没有任何意义，因为那不是他们的名字……它们只是必需的代号。他们真正的名字是在安息日和宗教节日按《圣经律法》所取的名字：他们的第一个犹太名，以及他们的父亲的犹太名的第一个字"。直到１８世纪末期，伴随着《宗教宽容诏书》的颁布，波希米亚的犹太人才获得全面的解放，开始从农村向城市迁徙。赫尔曼卡夫卡就是这场社会运动中的一个典型的例子。
卡夫卡的母系亲属有着不同的遗传特征。卡夫卡的母亲，尤莉卡夫卡出身于中产阶级家庭，她的家庭在易北河岸的波德布拉迪经营纺织和酿酒业，生意做的很大。她的父亲是波希米亚东部恒波勒治的织布商，他在年轻时结下了一门不错的亲事。新娘带来了丰厚的嫁妆：波德布拉迪的一幢房子和一家店铺。正如卡夫卡的朋友、遗嘱执行人、第一个为他写传记的人马克斯布洛德所说的，卡夫卡的母系家族"里有博学多识的人，并且往往是些有奇异的癖好、爱幻想的人，还有一些人则被这种癖好引入冒险的、富有异域色彩的或者离奇的、隐居般的生活"。卡夫卡无疑继承了祖先的这种特征。２０世纪３０年代，尤莉曾在一张小纸片上对她的家人进行了一番描述。她的祖父亚当波利亚斯是"一个虔诚的犹太人，经常埋头研读犹太法典。"他在波德布拉迪有一家布匹店，虽然他把大量的精力用来阅读犹太法典的《塔木德经》，顾不上打理店铺，但生意仍然红火。他和他的妻子晚年移居到布拉格，住在旧城广场上的一座漂亮房子里，房子的底层是店铺，上面一层是一个藏书丰富的书房。无论冬夏，亚当天天都到易北河中沐浴，有时河面结冰了，他就用镐砸开冰面。亚当有一个兄弟甚至更为虔诚，他总是将宗教法则规定佩带的信教线挂在衣服外面，而不是塞在衣服里面，常常被人取笑。亚当的另一个兄弟是名医生，他同家族中其他几个人一样，改信了基督教，这几个背叛信仰的人中包括尤莉三个富有的兄弟：鲁道尔夫略维、阿尔弗莱德略维和约瑟夫略维。尽管如此，尤莉家族的人还是经常说他们比卡夫卡家族的人更为虔诚。