曹雪芹是个多才多艺的人，除了做诗画画著书之外，他还会中医之道。乾隆二十三年（1758），曹雪芹离开了居住已久的黄叶村，搬迁到香山北面一个叫白家疃的地方。白家疃，位于海淀温泉乡的温泉村东。为什么曹雪芹要迁居到这个朋友匮乏的白家疃？研究者众说纷纭。据专家考证，他是应白家疃村人的邀请而来。这种说法出自敦敏的《瓶湖懋斋记盛》，当时敦敏得知曹雪芹徙居白家疃的消息后，曾于乾隆二十三年（1758）夏秋之际前来白家疃拜访曹雪芹，巧的是曹雪芹不在，与曹雪芹同住一院的白姓老媪不仅热情地接待了他，而且还讲述了她自己的遭遇及与曹雪芹的关系。原来，这位老媪身患眼疾，几近失明。一次，她去了黄叶村，偶然听说黄叶村的曹先生会治病，便请曹雪芹帮助她医治眼疾，在他的治疗下，老媪的眼睛慢慢地能看见东西了，她便邀请他去白家疃住，因他们那里十分需要像他这样的人。此事在曹雪芹的《废艺斋集稿》中也有所记载。
黄叶村离白家疃相距数十里，清代时两村百姓翻山来往，走的人多了，山中形成了一条天然小路。这条山路只有十里地左右，如快步疾行，四五十分钟可到达，很是方便。刚开始的时候，曹雪芹常抄这条小路翻山越岭，在白家疃一处小庙中看病施药。因小庙内空空荡荡，诙谐的他给自己取了个号叫“空空道人”，后来还把这个号署在了“云山翰墨冰雪聪明”的篆文小品后。白家疃村的那位老媪不忍他来往奔波，便在她家的祖坟周围，用树木和茅草为雪芹建造了几间房屋，从此雪芹在白家疃有了落脚之处，不用在小庙中为人看病了。后来，曹雪芹在黄叶村的屋子塌倒之后，就定居白家疃，这一住就直到他最后的日子。
白家疃青山似黛，植被丰沛，是个比黄叶村更幽静，更优美的地方，非常适合曹雪芹远避尘嚣，著书立作。正如敦敏和张宜泉的诗中所道出的：“庐结西郊别样幽”、“门外山川供绘画”、“寂寞西郊人到罕”、“翠叠空山晚照凉”，均可证明雪芹的居处近山傍水，寂静和谐，是著书、修书的理想环境。据研究者猜测，曹雪芹搬到那里，还与怡亲王有关，在白家疃有一个怡亲王的祠堂，怡亲王胤祥当年负责他家的案子时，为他们说了不少好话，可能曹雪芹那时想，能去那里时时为他上上香，打扫一下堂院也算报答他了吧。
乾隆二十三年（1758）夏，挚友敦敏的一个亲戚从福建回北京，带来许多字和画。他把其中署名李龙眠的《如意平安图》、署名商祚的《秋葵彩蝶图》等送给了敦敏。为了鉴别这些画的真伪，他打算请精通字画的曹雪芹帮他鉴别一下。他听说雪芹已经搬往白家疃，便去寻访他的新家。他在《瓶湖懋斋记盛》中记载：“几经询问，始抵其家。其地有小溪阻路，隔岸望之，土屋四间，斜向西南，筑石为壁，断枝为椽，垣堵不齐，户牖不全。而院落整洁，编篱成锦，蔓植杞藤……循溪北行，赿桥乃达。”可见，曹的新居简陋，仍令他感慨难过。不巧的是，敦敏来了两次都没有碰见曹雪芹。至腊月二十日，敦敏上街买酒，竟在菜市口遇见雪芹。朋友相见，十分高兴。曹雪芹邀敦敏同往于叔度家吃了雪芹烧的鱼，几个朋友高兴之余戏称这道菜为“老蚌怀珠”。之后，敦敏向于叔度借了雪芹扎的风筝，又雇车载了雪芹送给他的南酒数坛，邀请雪芹到他家小住，帮他鉴别书画真伪。
腊月二十四日，敦敏在槐园的家里举行了一次“盛会”，参加者除敦敏、敦诚及曹、于外，还有董邦达、过子龢（医生、书家）等，曹雪芹在鉴定时指出《秋葵彩蝶图》是一幅“足资珍藏”的着色工笔花鸟绢画精品，为明代画家商祚所绘，《如意平安图》为元人仿北宋李龙眠的赝品。当天，曹雪芹烹鱼，论画，与朋友们吃酒欢谈自是不待说，中午时，他断言下午会有大风，果然，下午起了风，几个朋友便相约去放风筝。曹雪芹扎风筝手艺高超，放风筝更是行家里手，在敦敏目睹他放风筝的风采后写了一篇《瓶湖懋斋记盛》，其中的小序写道：“观其御风施放之奇，心手相应，变化万千；风鸢听命乎百仞之上，游丝挥运于方寸之间；壁上观者，心为物役，乍惊乍喜，纯然童子之心，忘情忧乐，不复忧乐，不复知老之将至矣。”
在这些朋友之中，董邦达（1699～1769，时任吏部侍郎兼管皇帝画苑）是初次与曹雪芹相识，他叹惜地对雪芹说：“杜少陵赠曹将军诗有句云：‘试看古来盛名下，终日坎岚缠其身。’令人嗟叹！”他当场为《南鹞北鸢考工志》题签，答应归后给它写一篇序言。他还兴奋地对朋友们说：“今月之集，固乃千载一遇，虽兰亭之会，未足奇也！”可见，他对认识曹雪芹之事，感到十分幸运，对他坎坷的命运也非常惋惜。敦敏在《瓶湖懋斋记盛》一文中，详细记述了乾隆二十三年（1758）腊月二十四日曹雪芹在自家的槐园里同董邦达、过子龢、端隽、于叔度等人的聚会。
之后，曹雪芹蛰居山居，潜心修改《红楼梦》。从乾隆二十三年至二十八年间，他经常来往于白家疃和黄叶村之间，那蜿蜒曲折的山道、历尽沧桑的古木、见证风云的山石，都从中激发着他的创作灵感。除曹雪芹在乾隆二十四五年南京之行（两江总督尹继善邀请雪芹到南京去做幕宾）的时间外，他在白家疃整整生活了五年，这五年时间是雪芹人生中最重要的五年，也是因生活所迫最为艰难的五年，除了《废艺斋集稿》的收尾工作以外，他把精力完全投入到《红楼梦》的修改之中。