自从雍正皇帝驾崩之后，曹家人在新帝乾隆的优待下，日子逐渐好过起来。少年雪芹在官学里接受着四书五经的熏陶，凡是大考小考，他都能顺利过关。老师和家长非常欣慰，不过，在他自己看来，这些不过是应景的虚名罢了。他最喜欢的还是看那些所谓的杂书。在当时八股文一统天下文化的环境下，不要说野史闲书，就是比那高贵十倍的古代诗文名著，也都属于“杂学”、“杂作”之列，一般私塾是不会教给学生的，官学里更不会放任学生去看。幸而，居住在外城的他比他的同学们有更多机会接触到杂书，他的很多同学除了四书五经之外，竟然不知道世间还有如此美好的事物。即使这样，雪芹如果想要看到“杂书”也并不容易。他的秉性很像祖父曹寅，特别地喜欢诗词、小说、戏剧什么的，每凡学校放学或是放假，他就偷偷地寻找这类书来看。有时赶庙会的市集书摊上就会有戏剧本子卖，譬如《西厢记》《牡丹亭》《水浒传》等，诗词之类的书籍也非常多。每逢这样的时机，雪芹从不肯放过，总是带上两三本自己喜欢的，揣在怀里，回去之后再痴痴地看。他最爱看那些带了“批点”的小说剧本，常为那些精彩批语而感动。
所谓“批点”，是写在小说或剧本后的评价以及作批者的一些感慨，相当于现在的书评。批者可以对他崇拜的一部名作表述他的赞美，阐释其价值所在，并借此抒发自己的感想，包括政治的、哲学的、社会的见解，还有艺术审美的理论与赏析。从明代中期起，出现了一派“批点家”，专给流行的头等小说剧本作出“批点”，刊刻行世。在这些批点家里，曹雪芹最有认同感的，是晚明的一位名叫李贽（1527～1602）的批点家，人称李卓吾先生。李贽的书评著作有《焚书》等，其中借评点古代名著，批判孔孟之道的虚伪，其思想矛头直指宋明理学，对四书五经表示出极大的轻蔑。这些貌似离经叛道的想法，很合少年雪芹的胃口，尤其是他主张创作要“绝假还真，抒发己见”的“童心说”理论，更令处于四书困扰中的雪芹深有同感。他想，写文章如果不能按自己的心写，那还有什么乐趣可言呢，不是跟八股文一样了吗？至于李贽批过的《批点西厢真本》《浣纱记》等，他更是一本不落地读过，对“男子之见尽长，女子之见尽短”的批判理论，觉得叹为观止。他想，世上竟有这般为妇女鸣不平的人。他觉得，这些才是他真正喜欢并想去学习的知识。这些比起那些道貌岸然的四书五经有意思多了。值得注意的是，此时正值曹雪芹人生观、价值观飞速发展的时期，因而，这位已经故去数十年的批点家有可能是他真正的“启蒙老师”，对曹雪芹日后的创作有着深远的影响。
除了李贽以外，还有一位年代更近一些的批点家金圣叹（1608～1661）对清代文人影响甚大。他提出的“六才子论”，把《离骚》《庄子》《史记》《杜诗》《水浒传》《西厢记》这六部文学体裁不同（包括古代自叙诗、哲理散文、历史传记、诗集、民间小说故事、剧本），传统地位极为悬殊的地位“拉平”了，在艺术成就上给予了同等的高度评价！他的批点深入人心，以致顺治皇帝在看了他的点评后也忍不住拍案叫绝，是以清代一般念书识字的人都为之倾倒。金圣叹精于对作品的艺术分析，是继李贽之后将小说戏曲评点推进到新高度的批点家。他既接受佛教的虚无思想，视人生若梦幻，有“生死迅疾，人命无常，富贵难求，从吾所好，则不著书其又何以为活也”的名言。少年雪芹也极有可能接受他的思想言论，“出家当和尚”是《红楼梦》中宝玉常说的一句话，另外，那种感叹世事人命无常，唯愿做自己喜欢的事的观念和态度，在书中随处可见。值得一提的是，李贽和金圣叹两人的思想行为都是大出于平常，其结局往往就是为世俗所不容，受诬陷而致被杀。
曹家除了平郡王福彭之外，还有一门靠得住的血亲傅家。曹家事发以后，雪芹听家人说，他祖父一生的藏书，大部分都被雪芹的祖姑设法弄到而保存了下来。随着雪芹年龄的增大，他就想办法到傅家表叔昌龄处去求借书籍，自己用心研读。一进了傅家书房，曹雪芹惊呆了，表叔的书房简直是太丰富了，三面的大书架、大书柜，高抵天花板，说是“汗牛充栋”也不为过。在查找书籍的过程中，他惊喜地发现，祖父以前收藏的书籍都安然无恙，而且大部分都是当世名贵少见的版本。他借了许多唐宋以来的野史小说、随笔杂记之类的书，同时，还阅读了大量古时的诗文名集，其中包括他祖父监刻的《全唐诗》。这些读物令他眼界大开。当祖父的《楝亭诗集》四大册出现在曹雪芹眼前时，他几乎欣喜若狂，这就是祖父的诗集！打开书看时，首页上都有两方朱红的印记：一方是“楝亭曹氏藏书”，一方是“敷槎氏昌龄藏书”；有的还多一方“堇斋图书”的印。那书都纸如玉白，墨似漆亮，还有一种说不出来的幽香之气味，这是真正的书香之气，看着祖父的诗集，他简直兴奋得通宵难眠。他暗自思忖，从此应当继承祖父的家学与诗风，做一个不入时流俗派的真正诗人。
杂学旁收的少年雪芹就这样博览群书，深深地理解了中国古典文学名著的文笔之美和心灵之秀，成长为一个卓尔不群的，有着自我见解的“杂家”人才。