曹雪芹小时候，家里人都喜欢称他“霑哥儿”。虽说曹家人丁不旺，不过个个都是资质绝佳，天分极高。从他的太爷爷曹玺于康熙二年（1663）在南京落户那时起，他们曹家的诗礼之族的名声就已经在江南传开了。作为第一位清代江宁织造大人，曹玺本人附庸风雅，喜好诗词。他的府第时有江南的文人雅士造访，在满洲旗内也算是颇有文名的人士了。最值得一提的，是曹雪芹的爷爷曹寅。
曹寅小时候是康熙最亲信的小侍卫和伴读，从某种意义上来说，他们算是“奶兄弟”。因为曹寅的母亲孙氏，即曹雪芹的太祖母是康熙的乳母。由于两人一起读书长大，感情相当不一般，堪为“明里君臣，暗里兄弟”的关系。太爷爷曹玺到任的第二年，在家里的园子里亲手种下一株楝树，那时曹寅尚年幼，及至此树长大成荫，他就在其下筑一草亭，为此特别给自己选了“楝亭”二字作为别名。如果说太爷爷只是在满洲旗内颇有文名，那么爷爷曹楝亭那就是满族文化人中十分有名的诗人和戏剧作家，其文学修养和成就早已远远超过了他的父亲。曹寅非常喜欢读书，几十年积累下来，家中藏书极其丰富。他最喜欢的就是唐诗宋词，曾在扬州开了诗局，编刻了《全唐诗》，搜尽了有唐一代的诗家两千多人，几万首诗。也很喜欢宋诗，留意寻求宋朝诗人的集子，收集了很多孤本，那也许是为了继《全唐诗》而再编《全宋诗》作预备。曹寅本人也擅作诗词，留有《楝亭集》一部，其诗词极富才调，为很多名流老前辈们称扬赏爱。有诗为证：“绳量马道不嵚斜，雁字排栽筑水沙；世代暗伤弓力弱，交床侧坐捻翎花。”（《射堂柳已成行命儿辈习射作三截句寄子猷》）这是一首教导曹家后辈如何读书骑射的诗词，其功力已是不俗。
“读书过日，学射为郎”，是曹寅为后辈立下的家训，意思是最好的生活就是读书，不要追求享乐，生为男子，应当习武，由此可见其人对待人生的态度和价值观。这样的读书态度，当然在相当大的程度上影响了小雪芹。他小时候就在这样一个有着深厚文化根底，具有富丽的文学美术环境的风雅家庭中受到浓重的文化熏陶。这样的家庭对在其中生活长养起来的孩子的影响，是巨大而深刻的，兼之曹雪芹自小就是一个“天分高明，性情颖慧”的早熟儿童，他对这个家庭的一切事相，都有着非同一般的感受。
曹寅不只爱“雅”，还特别喜欢“俗玩意儿”，除了诗词，还喜欢杂学，尤其是古今戏剧，不仅自己创作戏文，还粉墨登场，亲自串戏。野史小说，也是他十分得意的“东西”。或许这样的秉性，也传给了后来的曹雪芹。曹寅一生遍交天下诗人雅客，常济困扶危，为此颇得江南士大夫阶层的好评。那时，同朝人洪升创作了戏剧《长生殿》，为了这部戏剧许多人遭了事，可曹寅对这个戏剧却推崇备至。有一回，他在江宁偶遇洪升，高兴之余，遍请名流，大开盛会三日三夜，演完了全部《长生殿》，并把洪升尊为上宾，奉于主座，和他一起对这部戏的戏文脚本，逐字逐句地进行评赏，对音律提出订正的精辟见解。这件事当时轰动江南，有口皆碑。
另有一位名叫沈嘉然的绍兴师爷，作了一部专讲大禹治水的小说，其内容精彩有趣，讲大禹如何与洪水作战，疏凿九州，不顾一己，拯救万民，还出现了百神百怪，有的助禹，有的助水，精彩瑰奇，雄伟巨丽，真可以与《封神演义》相媲美。曹寅看见后，大为击赏，要出钱给它刻板流传。可不幸的是，这位沈先生有次坐船回家，船沉入水中，人是救起来了，却因落水受寒病死了，最可惜的是那部书稿也葬于鱼腹，世上竟无只字传本！曹寅为此叹惜不怿者累日。由此可见，在江南一带，人们对他家的好感并不是人为的捧场趋附，而是因为曹家主人礼贤下士，德行高尚的缘故。
曹雪芹的爷爷曹寅，他对小雪芹成长的影响堪称深远，这一点无论是从将来的为人、秉性，还是文学造诣等都可显见。曹寅一生喜好收藏书籍，家中插架万签，琳琅四壁。小雪芹在还没有入塾从师时，就对祖父这么多的遗书发生了好奇的情感，早早地就种下了爱书的“夙因”，后来他遇书必读，每日里“杂学旁收”，后终成大家。
时光荏苒，转眼间，霑哥儿从一个牙牙学语的婴儿长成了一个爱听大人讲故事的小孩子。父母的、奶奶的、保姆的、看门的、丫头们的，他一一不放过，神话、寓言、民间传说、历史故事、戏文与小说的摘叙，都成了他的“世界”。霑哥儿的智慧从这些故事中得到启牖，文学艺术的种子从那时起就已经播下。与别的小孩所不同的是，霑哥儿还曾受到过西洋故事的熏陶。
清代雍正年间，江南地区的丝绸纺织业盛极一时，其中更以南京为首，时有外国丝绸商人前来办货。有一位名叫菲利浦·温士顿的英国丝绸商人也来了南京，却在机缘巧合下结识了曹。那曹本是礼贤下士、多才勤学之人，他发现菲利浦原是一个学识渊博、开朗健谈之人，两人相交十分投机，自此，菲利浦常被奉为曹家座上嘉宾。他给曹传授西方先进的纺织技术，讲述英国王室的情况，还绘声绘色地讲到远在重洋之外，他的祖国有个叫莎士比亚的伟大天才，一生写下无数传奇之作：《罗密欧与朱丽叶》、《哈姆莱特》、《威尼斯商人》……那些闻所未闻的莎氏戏剧，千回百转的莎氏故事，让曹都听得如醉如痴，欲罢不能。除他之外，曹府上上下下也都在偷偷地传述着西洋故事。按照当时中国的礼法，妇女与儿童不允许听外国人讲故事。但爱听故事的霑哥儿哪会管得了这些，也绝不会错过这样的良机。有一次，菲利浦又来曹府作客，正讲到精彩处时，曹忽然感觉到身后的屏风在动，他绕到背后一看，竟是他的儿子霑儿在那里听得入了迷呢。不想听到高兴时手舞足蹈，触动了屏风，被父亲发现了。原来每次菲利浦来访，他都悄悄躲藏在屏风后面，和父亲一起听那些引人入胜的故事呢。曹父得知后，十分生气，恼恨这个不听话的孩子的越轨行为。霑哥儿被他狠狠地打骂了一番。这段情景，后来被曹雪芹写到了《红楼梦》中宝玉受虐待上。由于小时候的霑哥儿经常违反定规，所以总是备受打骂，因而他在描写贾父痛打宝玉的时候，才能把其时、其情、其景写得栩栩如生。
“宝玉急得手脚正没抓寻处，只见贾政的小厮走来，逼着他出去了。贾政一见，眼都红了，也不暇问他……只喝命‘堵起嘴来，着实打死！’小厮不敢违，只得将宝玉按在凳上，举起大板，打了十来下，宝玉自知不能讨饶，只是呜呜地哭。贾政还嫌打得轻，一脚踢开掌板的，自己夺过板子来，狠命地又打了十几下……”
这个有趣的故事被记载在1874年出版的《龙的帝国》一书中，这本书是菲利浦的孙子威廉追述他祖父的回忆录。从这件事情至少可以说明，曹雪芹早年就知道莎士比亚并听过他创作的很多戏剧故事。小小的霑哥儿聪颖早慧，勤学博闻，从小就在文学艺术方面打下了良好的基础。