就在曹家的家庭氛围开始变得宽松的时候，雪芹已经到了上学的年龄。小雪芹的聪慧早已是声名在外。有传闻称他：“四岁已毕《四书》、《五经》！”一个资质寻常的学生要读完这些艰深的书，至少也要二十来岁才能读完。四岁就读完，似乎有点夸张，但是至少有一点是肯定的：小雪芹赋性颖慧异常，确实具有过人的天才。因此也难怪他的祖母李氏与母亲把他视为生命一般地钟爱。
曹家遵循清代满旗世家的规矩，家中小儿都是五六岁时就早早地入塾上学，督教十分严格。往往孩子们在正式上学之前，已经在家里先学习过认读和写一些字。小雪芹就是这样，在他就学前，已经认识了上千个汉字了。那个时候，清朝富裕之家多是自己设立私塾，请“专馆”的先生来教子弟，有的大家族成立义学，供给族人亲戚们无力上私塾的孩子上学读书，不仅免费，还发给食用之钱；在《红楼梦》中，贾宝玉和薛蟠、秦钟等人就是在这样的学校里读书。曹族中虽然办有义学，可是距离很远。还有一些属于官府办的不同等次的学校，称为官学。学校设立在后城西门内包衣人聚居之地，作为犯官之家，曹雪芹根本不可能去那里读书。
那时的学校，形式不一。有条件的就自己设立私塾，请一位老师；有的成立义学，此时的曹家根本就没有自己请师的能力，进官学，那更是不可能的事情了。于是曹家只好去“附学”：幸而曹家还有一个靠山可以依靠，那就是讷尔苏之子，曹雪芹的大表兄福彭。在讷尔苏被“高墙圈禁”之后，他的儿子福彭袭了他的爵位，称平郡王。他的王府里自然设有家塾的，亲戚的孩子可以在那里“附学”。从曹家当时居住的蒜市口西行，穿越正阳门，进宣武门，往北走一小段路，就来到驸马大街，平郡王府就在那里。小雪芹就这样开始了他每天的上学之路。平郡王府里的家塾是一个十分幽静的小院，由小小三间正房组成，正门堂屋里设有孔夫子的牌位，学生们每天早上到了以后，需要先向牌位恭敬地行礼，然后走到里间，教书先生往往坐在里面，学生一进屋，需再向先生深深地鞠个躬，然后悄无声响地找到自己的座位坐好。等学生到齐了，老师才开始讲课。如果学生迟到了，是有可能挨老师的板子的。在这里，小雪芹接受了良好的文化教育。
家塾先生很快就注意到了这个入学年龄颇晚的学生（因为家境的关系，小雪芹上学年龄比一般的满洲世家的孩子要晚）。他发现这个名叫曹霑的学生，并不像一般小孩子那么怕羞或胆怯，相反地，他见了人举止大方适度，礼数周详，有一种早熟的感觉。除了仪表举止之外，他的功课更是让老师感到惊奇。“一目十行”、“过目成诵”等词语，是人们常用来形容那些聪明颖慧出众的人。如果用这话来比曹雪芹小时候，那的确是如此。清代书本一般是每行十六七个大号汉字，智力一般的每日学个四五行，都不一定记得住，但小雪芹却是一目数行俱下，只念两遍，就能背诵如流。可喜的是，他不仅记性超好，悟性也极高，他能得其精义，而不是死背书。曹雪芹除了成绩优秀之外，与同龄人一样，也会淘气。他会独立思索，常对老师就某一些事情发出疑问，搞得先生张口结舌，无言以对；有时发出一些令人惊诧的胆大妄为的言论，使先生为难之际，只好以威严来斥责他不守规矩，胡言乱语。
在平郡王府的私塾里，学生们学习的是规定的四书五经。这些古代儒家经典，专事做人和从政的道德规范，对于七八岁的孩子来说，这是一件既枯燥严厉，又很乏味刻板的事情。学生们每天不管有兴趣还是没兴趣地摇头晃脑地读那些经书，天性聪颖又兴趣广泛的小雪芹，对这样终日死板的认字、背书感到乏味至极。外面的天地多么广阔啊，他的求知欲望，很快使他偷偷地转入到对“杂学”的涉猎和追求上去了。
所谓杂学，即除了八股文章之外的一切学问。小雪芹最不喜欢做八股文章，在《红楼梦》里他清楚地表达了对八股文的厌恶感，把那些醉心于八股文的人，叫作“禄蠹”。主人公贾宝玉，“愚顽怕读文章”，此处的“文章”二字，便专指八股文，也叫“举业”。科举考场上只以八股文章为标准正统，其余杂学地位当然就属下流了。为什么小雪芹会喜欢杂学呢，这实在是天性使然。他的性情不是墨守成规，感情丰富敏锐，兴趣广泛求知欲强，因而那些真正能展露才华、抒写性灵的诗文辞赋，以及被士大夫轻贱的民间通俗文学：小说、剧本、弹唱典词等“闲书”，才最终成了他的最爱。如果不是这样一个杂学的性情，焉能成就一代大师，焉能塑造出如厮的《红楼梦》？
幸而，曹家摒居于外城，小雪芹获得了比在内城、皇城里的孩子们更多的接触“杂学”和“闲书”的机会。在那些汉人的街市巷口，经常有人搭台子唱戏文，人们往往在台下围观，如果唱得好，就会往戏台上扔铜钱啊什么的。小雪芹的居住条件决定了他一开始能学到的“杂学闲书”就是流行于世、十分易得的小说和剧本（曲剧的唱词）。在中国的汉人集居地，元“杂剧”、明“传奇”皆是由极美的曲词构成，如王实甫的《西厢记》、汤显祖的《牡丹亭》，这些剧本深受读者喜爱，其流传之广，比任何官定教育课本都要深入人心得多。每每逛街看戏，小雪芹总是看到不想走。那些美妙的戏文唱词，真的太令他入迷了。即使这样，要想真正寻到喜爱的“杂书”，在当时的情况下仍然是个难题。他想到，祖父曹寅一生收集藏书无数，不幸却在抄家时被人抄走了，如果有那些书在，天天遍览群书，该是多么美妙的事情。