1890年之后，洛克菲勒在纽约住的时间更长了。他始终想找一个可供他度假、休息的地方。终于在1893年，他在纽约北泰利城的小镇买了一幢房子。它位于哈得逊河与其支流的分水岭上，是一幢两层的木头楼房，四周有洛克菲勒喜爱的宽阔回廊，因坐落在小山坡上，所以视野很广，尤其在西面的阳台上可以看见绚丽的哈得逊河风光。屋内的布置是洛克菲勒向来喜爱的简单舒服的式样。买下这幢房子之后，洛克菲勒无形中给自己带来许多工作：他连续购得四周的土地，忙着扫除房子、铺路、砍树木等等。直到把整个庭院扩张到一千六百亩才停止。他在日后的回忆录上写道：“我十分喜爱这所老房子，它四周的风景如画，可以陶冶性情，还能使我们清静又安逸地享受余年。”
这幢房子就是在回忆中常提到的波甘狄克小屋。
不幸的是，房子在1902年毁于一场大火，洛克菲勒虽时常挂念着要重建，但总是拖延。小洛克菲勒知道父亲不喜欢过问建屋的细节，就替父亲请建筑师设计一所理想的住所。当设计师把画好的蓝图呈给洛克菲勒时，他又迟迟不采取任何行动。小洛克菲勒了解父亲的心情，他日后对人说：“父亲不喜欢大房子，怕管理上麻烦；但他又不肯改小，怕改小了以后孙儿孙女来了以后没有地方住。”
于是，小洛克菲勒又命建筑师改变蓝图，把房子改得大小适中，有足够的房间可以接纳亲友，又不会大得管理困难。这样一来，洛克菲勒马上就点头，命人快速兴建了。
小洛克菲勒夫妇担任起监工和布置的工作。室内的布置原则上要美观、大方而简单。小洛克菲勒对装潢师说，要让贫苦的人到走进寓所时感觉到亲切温暖，同时，要让显达的人踏入该区时觉得高雅大方。于是，设计师就抓住这条原则，把简单和美观融合在一处。但真正令洛克菲勒振奋的是不停扩建的庭院，他可以随心所欲地在这三千亩土地上开路、植树、造假山，这让他觉得十分满意。
洛克菲勒在新居种了成千棵的常青树，当他后来在新泽西买下一个高尔夫球场，把球场改建成住宅时，自己曾利用树做了一次小生意。他把种在波甘狄克每株只值一毛或五分的小树以一块半、两块的价钱卖给他的新居。他对人提起他在新居上砍树的经验，总不能掩饰他的骄傲：“我们的伐树工人是自己人，工具也是自己做的。如果你一旦了解树的性情，你会发现是多么容易左右这棵树。我们曾经砍过九十尺高的树，还砍了许多七八十尺高的……最令人难忘的是那棵巨大的马蹄树。我们都保留砍下的树，把每棵放在一定的距离，有些树还正在开花呢！每棵都可卖二十元，根本没有赔本。”
洛克菲勒老年时喜欢园艺的工作，喜欢装饰庭院、修剪树木。他常常骄傲地告诉客人哪些是他栽种的树，哪些是他铺的路，他的下属也都夸赞他为园艺家。他不停地美化庭院、铺小路以方便行人，筑高墙挡住铁路。他退休之后，总是从早到晚的在院子里摸索，种小树、砍大树、铺路、修路等，总要忙到太阳下山，黑漆漆的不见五指才拖着疲惫不堪的身子回家。
运动方面，洛克菲勒退休之后仍喜欢溜冰、骑马和骑自行车。但过了六十岁就不再骑快马了，波甘狄克马厩中的马之后就让给儿媳孙儿骑了。他们老夫妇只有在星期天下午才在院子里骑着兜圈子，两人追逐嬉笑，非常逍遥。
退休后的洛克菲勒虽然体力上不减当年，但对文艺方面的兴趣仍然很淡。他偶尔会跟太太去听听音乐会，或到弟弟经营的歌剧院的包厢里去看歌剧，除此以外很少参加任何文艺活动。他仍不爱看小说，只有在晚间休闲时刻，听洛克菲勒夫人朗读几段精彩片段。他很少津津有味地看任何文学作品。唯有《圣经》是他每天必定阅读的书。除此而外，他最常接触的就是报纸杂志和宗教性的书籍。
文艺性的节目提不起洛克菲勒的兴趣，刚风行的高尔夫球倒成了他的新嗜好。在1899年的一次宴会上，洛克菲勒夫妇在友人的鼓励之下，玩了几杆高尔夫球。学了几次之后，洛克菲勒即爱不释手，在波甘狄克的房子旁建了一个四个洞的小型球场。他不但请了名师来教授，还想尽各种办法以增进球技，无时无刻不在挂念他的球艺。他曾对友人说：“我希望打得愈多愈好。”甚至冬天下雪，也请友人到他的私人球场玩球。他的球友并不多，当凯特劝他应该多邀些朋友玩球时，洛克菲勒道出了有钱人共有的苦衷：“你如果以为我不想邀朋友玩球，你就错了。我早就试过，可惜结果都千篇一律地令我失望。那些人个个醉翁之意不在酒，多半打到第九个洞的时候就开始开口向我提出要求，不是希望捐献就是要贷款。”
1909年，洛克菲勒虽已步入随心所欲的七十岁，但身体仍健壮如往昔。美国的《哈泼周刊》曾描述说：“洛克菲勒虽然年届七十，他仍是个魁梧的体育健将。明亮的眼睛、泛红的双颊、被太阳晒得呈古铜色的皮肤，衬得他只有五十岁的模样。”
他的私人医生说：“洛克菲勒先生身体健壮，起码可以活到一百岁。他长寿的秘诀有三：第一，不忧愁；第二，有规律地做户外运动；第三，饮食有节制。”
在生活上，洛克菲勒的起居有规律；精神上，他仍是虔诚的教徒。因为常年住在纽约，所以活跃在纽约的教堂之间，但仍时时协助家乡克利夫兰的教堂。他和威廉在纽约的教堂都是挂名董事，负责许多捐献的工作。太太和女儿则教主日学，尤其小女儿亚尔塔还办了一所女子缝纫学校。他们一家除了上礼拜堂之外，还常邀请牧师到纽约的五十四街的房子内做客，使得家中充满安详和乐的气氛。
老年的洛克菲勒生活并不单调，有三件喜事填满他的心，那就是两个女儿和小儿子的婚事。先是有个性、有艺术感性、独立而又反传统的二女儿伊迪丝嫁给普林斯顿大学毕业生麦康密克。因为新郎感冒，婚礼就在旅馆举行而没有去教堂行礼。婚后，在纽约五十四街的寓所宴客，而后他们定居芝加哥，新郎与兄弟一起从事农具的生意。他们生了三个孩子之后，于1921年离婚。但是洛克菲勒在世时与亲家母处得很好。亲家公是农田收割机的发明人，亲家母喜做善事，所以跟洛克菲勒家人很合得来，常常到波甘狄克及五十四街的寓所做客。
第二件是1901亚尔塔的婚事，她的如意郎君是哈佛法学院的高材生。他曾在芝加哥当了多年的律师，后来对“联邦法”发生兴趣，写了两本有关这方面的书，到1924年改行研究农业，曾在麻省开农场，并写了两本有关养牛及防止饥荒的书。
第三件是小洛克菲勒的婚事。洛克菲勒与参议院的名人阿尔因奇联姻，讨了能干又迷人的亚菲·阿尔因奇做媳妇。婚礼非常隆重，女家的父亲大宴亲友，在避暑的房子中请了一千名客人，一时传为佳话。洛克菲勒又因亲家的关系，认识了许多政权人物，风闻更多的政治趣事。婚后，小洛克菲勒夫妇住在洛克菲勒夫妇的隔壁。隔了没多久，这三对新婚的小夫妻都为洛克菲勒添了孙儿孙女，使洛克菲勒沉醉在天伦之乐中。
退休之后的洛克菲勒是快乐的，他将商业上的重担交给儿子，但不是因此无所事事地整日空闲在家。他保留了昔日的乐趣，比如溜冰、开车，更培养新的嗜好如打高尔夫球，把退休后的生活安排得多采多姿。再加上替教会的义务服务，为慈善事业所做的贡献，使洛克菲勒精神上也有所寄托。唯一美中不足的便是外界仍不断地攻击他，尤其新闻界仍常常酸溜溜地描绘他。虽然洛克菲勒不以为然，保持一贯的沉默态度不去争辩，不把它放在心上，但他的太太有时还将那些报导剪贴下来做纪念。