1919年，端木蕻良八岁了，他开始“在一刘姓教师的指导下，每天学写大楷字；并从堂姑的家庭教师李载阳学作旧体诗”。刘老师看了端木蕻良的诗说：这是“天分字”。“稍后，他能画画，又能吟诗，更替他父亲写酬拜的来往信件。”在那一段时间里，端木蕻良曾“跟一些画匠学过画，经常偷读父亲皮箱里的藏书，也包括他后来研读终生的《红楼梦》，对《古文观止》、《唐诗三百首》中的很多名篇都已经能够背诵”。
端木蕻良与《红楼梦》的关系，一直是研究者十分注重的，沙金成的《端木蕻良年表》记录：端木蕻良是在六岁的时候“常常偷看父亲皮箱里收藏的《红楼梦》”，端木蕻良在接受伏琥的访问时自述是：“八岁时发现了密藏在父亲皮箱里的《红楼梦》。”后来端木蕻良自己在1991年12月9日给笔者的信中又说明，他第一次读《红楼梦》的时候还不到十岁。这里究竟是“六岁”还是“八岁”或者“十岁"并不重要，仅要说明的是端木蕻良初读这部巨著的时候十分年幼。很快，他就为自己和曹雪芹同姓而感到非常得意，渐渐地又对整部作品产生了极其崇拜的情感。他说：“《红楼梦》的作者，在我很小的时候，就和他接触了。我常常偷看我父亲皮箱里藏的《红楼梦》。我知道他和我同姓，我感到特别亲切。”“我作了许多小诗，都是说到他。这种感情与年日增，渐渐的，我觉得非看《红楼梦》不行了。也许我对《红楼梦》的掌故并没有别人那么深，但我的深不在这里，而在‘一往情深’之深。”“我爱《红楼梦》最大的原因，就是为了曹雪芹的真情主义。”
《红楼梦》的作者曹雪芹的本名为曹霑，字梦欢，曾用名雪芹，略读曹雪芹的生平简历，便不难发现，他和东北作家端木蕻良确有很多相近的地方。曹雪芹的祖先是从河北丰葚地区作为开拓者搬迁至辽洋的。辽洋是奉天府附近的地方，就是现在的辽宁省；而辽宁省也正是端木蕻良的祖先居住了将近两百年的地方。曹雪芹家族在清早期，被编入正白旗，和端木蕻良家的地位相同，都属“汉正白旗”。在清王朝的时候，曹雪芹的曾祖、祖父等曾先后得到高官厚禄，特别是在康熙年间。然而到了雍正时期，曹雪芹的家族失宠，不仅被剥夺了所有的官职而且被抄家。就好像端木蕻良一样，曹雪芹自小目睹、历经这样一个封建的皇家贵族一步一步堕入衰败、破落。最后曹雪芹根据他自己的家史、亲身经历创作了《红楼梦》。《红楼梦》作为端木蕻良最喜爱的小说，为端木蕻良打开了一个丰富的世界。端木蕻良在后来这样说过：“每次读《红楼梦》，不管什么时候翻开它，就会放不下，不管什么时候看下去，都会有新鲜感。”
曹雪芹的文学天才、哲学思想，以及深刻的视野、宏大的气派，还有在描写家庭小说时那种反叛正统的倾向，都是和端木蕻良极为合拍的。很快，曹雪芹就成为端木蕻良非常理想的楷模。从某一个角度来说，曹雪芹就好像是端木蕻良自我陶醉的镜子，换句话来说，端木蕻良不仅仅是模仿着曹雪芹的脚步往前走，而且他自己也常常不由自主地把曹雪芹当作了自己的父辈，幻想自己就是曹雪芹的后裔或者是化身，甚至就是当代的曹雪芹。在对曹雪芹的崇拜、羡慕当中，当然糅合进对自己祖先的崇拜。可以说，端木蕻良对曹雪芹的崇拜正是他对曹家族崇拜的间接表达，或者是对曹家族崇拜的延续表现。端木蕻良的崇拜表达了他对自己那个没落的曹家族难分难舍的恋眷，也是他对曹家过去那段光辉历史悲唱挽歌的重要原因之一。
除了《红楼梦》以外，对端木蕻良影响最大的应该是他的母亲。可以说是曹雪芹和母亲一起把端木蕻良牵引上“文道”的。和端木蕻良的父亲不同，端木蕻良的母亲担负着孩子们的情感教育。她对孩子从不偏爱，她不希望由于父母的偏爱而使孩子们的感情“分生”。她对孩子也不溺爱，但十分小心，常常告诫孩子：不要把剪刀放在口袋里，不要看别人穿针引线。当时，由于端木蕻良的年纪最小，所以在他母亲身边的时候比较多。端木蕻良的母亲是一个很会讲故事的人，她常常通过故事的形式来告诉端木蕻良曹家的历史和曹家的秘密。端木蕻良就是在母亲充满乡土色彩的故事中知道了很多事。母亲有时候把自己在曹家奴婢一般的生活也讲述给端木蕻良听，她的“语言丰富、生动而包含感情”，“有时哀叹，有时抽泣，有时挂着泪珠发笑”。通过她的口，曹家的历史便像电影片段一样装到了端木蕻良的心中，故事所形成阴森的影子，永远无法在端木蕻良的眼前拂去。母亲多次说：长大以后把这些都写出来，让别人知道妈妈的苦处。还说：不要让曹家那样得意呢！并以此鼓励端木蕻良好好念书，端木蕻良在七八岁刚刚认得字的时候，便记住了这些话。然而，端木蕻良作为一个听故事的对象，在他倾听母亲作为曹家族衰败、没落的目击者的叙述时，并不难发现，母亲的叙述当中也包含了一种极其复杂的感情，这种感情就是既对把她当作奴婢使唤的曹家无比的仇恨、敌对；同时，又对这个曾经辉煌富有的家族怀有一种神秘的崇拜，仿佛还有着非常的荣耀感。
有些评论家在80年代初期，如李兴武在他的《端木蕻良小传》里，都非常强调端木蕻良的阶级意识，认为端木蕻良由于母亲的家庭背景和母亲在曹家的受难而对地主阶级充满了憎恨，强调了端木蕻良对母亲的同情也是对劳动人民的同情。这种偏重于阶级分析方法，正是中国长期以来写传记的一种模式和态度，使传主常常习惯依赖于所谓的阶级划分和道德观念来判断、评论作者及文学作品。其实，端木蕻良对他家庭的态度要复杂得多，矛盾得多。端木蕻良常常把自己和忏悔的贵族联系起来，时而骄傲、时而忏悔、时而憎恨。即使是他那佃户出生的母亲，也对曹家怀有混合的复杂感情。也正是因为有了这种贵族气质，端木蕻良才有可能使他的文学创作具有独特的有别于端木同时代人的艺术魅力和艺术气派。
在端木蕻良的文学作品当中，可以明显地看到：母亲对端木蕻良的影响是巨大的，特别是对端木蕻良以后的文学想象力以及叙述故事的能力的启蒙都具有很大的贡献。端木蕻良在感情上和他的母亲更加接近，对他母亲娘家的亲戚也怀有一种亲情，并在小说中加以赞美。
由于贫富悬殊，端木蕻良兄弟四个从来也没有住过姥姥家。小时候，玩伴们到姥姥家似乎是件非常重要的大事，又是要吃好的，又是要玩好的，但是端木蕻良的姥姥家实在太穷，接待不起这四个少爷。同时，曹家也绝对禁止孩子们到黄家去，甚至从端木蕻良有记忆以后，连他的母亲婚后也没有回过娘家。因此端木蕻良从来也没有见过他的舅母们和大部分的表兄弟们。
端木蕻良说，他的外婆死得很早，他从来也没有见过。外祖父是在端木蕻良长到七八岁的时候才见到的。那时，外祖父在搬到昌图县城的女儿家住过一段时间，回去就死了。外祖父到过许多地方，常常给端木蕻良和他的妹妹讲故事，讲的都是闻所未闻的事。