端木蕻良父系的祖先是从河北迁移昌图境内开荒斩草的闯关东老户，姓曹。经过几代发展，到他曾祖父的时候，成为当地的最大的地主。曾祖父曹泰是清政府的官吏，据端木的半自传体《科尔沁前史》所说，官至“京丞”，这是清朝的官职谓称。所谓的“京”有两种说法，也可以说有两种可能，一是指京都（即北京）；另一种是指“盛京”，这是指满族人在控制全中国以前自己的首府，也就是现在的沈阳。两地首席长官为府尹，北京顺天府的府尹可称京尹/京兆尹。“丞”是“副手”的意思，相当于副官，例如：“府丞”就是府的副官，而“京丞”，如果就是府承的别称的话，则应是北京顺天府的副官，“掌管顺天府属各州、县考试及管理金台书院等事”，就是相当于现在的京城的副市长，应该说这是一个非常有权势的官职。而后，在端木蕻良1992年6月30日给笔者的信中对此作了进一步解释，他说：“《前史》在发表时，编者是放在刊物小说栏目中的。因为我所写此稿时，不是按照自传写的。比如，我太爷(曾祖父，即曹泰)是在北京做‘经承’的。”所谓“经承”是指清代官署中一般书吏的通称，为雇员性质，承办例行公事。“京丞”和“经承”只是二字之差，官阶却相差甚远。端木蕻良晚年坦诚地解释，说明了他当年把“经”写成“京”字决不是“笔误”。那么，为什么端木蕻良要有意在《前史》里制造这么一个“二字之差”呢？仅仅是因为写小说的需要吗？仅仅是因为想象和虚构总能使得历史更具有戏剧性和浪漫色彩吗？看来，端木是有意夸张的，也是有意在《前史》里故意给读者留下的一个“笔误”，要不然，他完全可以机会在以后再版《前史》时加以修改。这是否与端木从小喜欢幻想，喜欢把自己家与曹雪芹的贾府、荣府相连在一起而进行的无休止的想象和攀比有关呢？换句来说，这或许就是端木故意留给读者的无法解开之谜吧。其实对于边远地区的昌图人来说，如果曹泰真能在京城当个“经承”当然已经是了不起的大官了。但据昌图本地研究者孙一寒的论文所述，曹泰只是“管过昌图的文案”。照此说法，曹泰似乎不过仅仅在昌图府当过“经承”而已，并非在京城奉职。显而易见，无论是北京或盛京都与昌图府城相差甚远。这究竟是端木对曾祖的情况只是依赖自己儿时的记忆而缺乏准确呢，还是和那个“二字之差”的想象有异曲同工之妙呢？看来这大概又是端木蕻良留给我们的另一个有关他身世的谜。
不过，最重要的是，端木蕻良充分地发挥了自己的想象力，制造了这“二字之差”从而夸大了曾祖的地位，也就顺理成章地为自己制造了贵族意识和贵族想象的根基。这个根基虽然是建立在想象的基础上的，但是久而久之，恐怕连端木蕻良自己也常常被这制造出来的家史弄得振奋不已，就好像是真的一样，同时自己举止言行甚至在诗文小说里也常常带上一种难得的贵族气质。不过话又得说回来，《前史》里仍旧有不少真实的记载，从端木蕻良1991年5月15日给笔者的信中可以证实，曹泰排行第四，家乡的人称他为“曹日老虎”，因为他胆大包天竟打过“黄带子”(即清皇族)，在家乡为一个传奇式人物。另外，据1908年（光绪三十四年）编撰的《昌图乡土志》记载，“日俄之战，人民流离失所者何止数千人，死伤道路者何止数千人！”战败的俄军还把“端木蕻良祖宅做指挥所，并屯兵于曹家祖坟地的丛林之中，其父（指端木父）只好携家逃难到淘鹿（西丰县）”。这也可说明曹家的宅子非同一般。
就是这个当了“经承”的曾祖父曹泰，在科尔沁旗草原上渐渐购置了两千多垧土地(一垧等于十五亩，一亩等于零点一六五公顷)。如此算来，两千多垧就有五千多公顷的土地，这是相当巨大的财富了。曹泰娶了一个满族夫人。据端木蕻良的《科尔沁前史》所说，那还是县城里最大富翁的女儿，带了一批丰富的嫁妆。这种特殊的婚姻裙带关系，使曹泰在清官府中的地位得到了巩固，并在他的家乡，科尔沁旗草原上进一步扩展了他的势力。在那个八旗建制的社会里，曹家属于“正白旗”。作为“八旗”成员的曹家，也就顺理成章地进入了清王朝的特权阶层。
当时，作为“八旗”成员的东北地主是相当有派头的，很像沙皇时代的俄国地主，原因是政权和土地所有权都掌握在地主的手里，有的还有私家武装卫队。对此，端木蕻良曾经特别解释说：“这里最崇高的财富是土地，官吏也要向土地飞眼的，因为土地是征收的财源。于是土地的握有者，便做了这社会的重心，有许多制度、罪恶、不成文法，是由他们制定的、发明的、强迫推行的。”地主家庭的机制非常严密，其中有：司发号令的人——大当家、二当家等等，押解钱粮、进城去卖的人——大掌包、二掌包等等，加上管事的、跑道的(跑腿的)、外柜(讨债的)、账房、打头的(工头)、年造(长工)、伙计(短工)、赶铁皮大车的、打更的、计量的、看门的……浩浩荡荡几十口人！而曹老太爷家除了雇佣了许许多多的奴仆之外，还专门配制了武装齐备的家丁和保镖。曹家的老宅大墙高筑，远远望去很像一个碉堡，院宅的大墙上每隔几步就筑一小楼，小楼上设有枪眼，长年有枪手(便衣家兵)警戒其上，以对付经常出没的土匪。而森严壁垒的院墙里面，则是另一番景象，那里有非常雅致的花园，修整得井井有条。
端木蕻良的曾祖父曹泰非常喜欢收藏古玩，除了金器、玉器放在箱子里以外，其他一般的东西都摆在厢房的三间厅屋里，紫檀的架子通通摆满。另外特别贵重的东西除了曹泰以外，只有两个人可以看的，一个是端木蕻良的父亲，一个是曹泰最喜爱的外孙女，而且看的时候还得紧紧锁上门。据说有一种皮衣是古中山羊皮做的，最为名贵，比东北特产紫貂还好。还有一种古代动物的骨殖叫“龙骨”，被认为是一种刀伤收口的特效药，如果“龙骨”上刻有字，那就是甲骨文。曹泰的生活极为讲究，而且很有贵族派头。他的产业一传就传了三代，一直到端木蕻良父亲的后期，才衰败下来。端木蕻良的祖父叫曹履安，可是在有关端木蕻良的研究资料当中，几乎无法找到曹履安的档案，只有根据端木蕻良给笔者的书信得知，曹履安原本是曹泰的次子，但因为他的哥哥早年夭折，所以就变成了长子。他全盘继承了曹泰讲究的贵族化生活方式，但是曹履安和曹泰不同的是，他一生不得志，多次考举不中，丧失了官场上的生涯，就此一蹶不振。据说，此人曾经非常“勇敢”地在考试的时候把考官的桌子踢翻，以表示对考试失败的气愤甚至抗议。然而，这种冲动行为的结果，只不过是再也没有机会通过考试。端木蕻良在《科尔沁前史》中曾经特别介绍：祖父“踢了赵大爷的供桌，因此挨了主考的红杠子，没有中了举，不能青云直上，所以他的一生很忧郁。他死得很早”。
端木蕻良的父亲叫曹仲元，原名曹铭，是曹履安的第二个儿子。尽管曹仲元是他的祖父曹泰最喜欢的孙子，但是他自己的父亲曹履安并不喜欢他，这也是曹仲元经常离家出走的原因之一。端木蕻良的曾祖父曹泰死去以后，祖父曹履安就把他的父亲赶了出去。
曹仲元在光绪年间，曾在通江口缉私榷运局当差。他缉私很认真，与人结了仇，吃了官司。那时关人的监狱叫“大封”，就把他关了进去。他关了没多久，家人花了大把钱，把他保出了狱。从此，他就在家过闲散生活。按照当时习俗，曹仲元的大哥早死了，曹仲元应该就是长子，有法定继承权。但是，他的父亲曹履安说他不能守成家业。曹仲元的原配没生儿子，端木蕻良的母亲只是个妾，所以就把大部分的财产、土地分给了曹仲元的弟弟。分到曹仲元名下的只有很少一部分。这也就是当地人说的——曹仲元是被曹履安赶出去的原因。
曹仲元一生都想做武官，可惜却没有成功，成为终生遗憾。倒是一点威仪都没有的弟弟，当上了本地军阀炮兵营的长官，拥有上尉军衔，使曹仲元更加着急，倍感压抑。曹仲元年轻的时候喜欢刀枪剑戟，每天拉弓射箭、骑马打枪，并特别扎着战袍，穿着靴子照了张相，旁边摆着一本书，上边写着“兵书战策”。照相在当时是一件非常不易的事情，由此可见曹仲元对戎装的偏爱。也许后来端木蕻良就是效仿他父亲，也喜欢穿马裤、皮靴，并照相留念，常被文坛同行作为说笑资料。
当年，曹仲元喜欢到处跑，善出游，尤其是南方的上海等一些大城市。这样他就接受到了新的思想，也就是维新思想。曹仲元是个维新党，他还有一块维新标志的“党证”。他同情太平天国革命，后来又接受了孙中山的思想。他藏有许多太平天国的宣传资料和孙中山的宣传资料，订了上海的《申报》、《字林西报》，东北的《盛京时报》。这种收藏爱好在当时是很少见的。端木蕻良的父亲还经常托人从商务印书馆买书，并托做湖笔、徽墨生意的商人，运货进关的时候把新书带到关外来。在曹家这个封建传统的老式家庭中，只有曹仲元在鼓吹新思想，提倡新观念。另外，曹家大都嗜鸦片，唯独他认为鸦片是人类的敌人。他是那个时候曹家惟一没有抽鸦片恶习的人。
曹仲元还喜欢收存书报，古今中外包罗万象：政治、历史、文学，小说、书报、刊物无所不有。从清朝起就留存上海的报纸，重要的折奏电文都用红笔勾出。他收存的书籍也很多，都是太平天国史略和孙中山的革命的文献。这些书报大约存了四皮箱，端木蕻良小时候就看见父亲箱中收集有《新遗诏圣书》、《新三字经》、《幼学诗》等。长期以来，这四只皮箱里的书报深深地吸引了端木蕻良，刺激了他的求知欲，对端木蕻良以后学习历史文学很有帮助。
此外，曹仲元和所有被宠惯的富家少爷一样，不仅是一个非常挑剔的美食家，而且还是一个地道的花花公子，喜欢追求年轻漂亮的女子，外宠甚多。他的脾气相当暴躁，有时蛮横无理，甚至殴打妻妾奴仆。有一次，由于端木蕻良的母亲干涉他纳妾，端木蕻良的父亲竟当头一马棒把她打得昏过去。