90年代开始，洛克菲勒从千头万绪的工业领域开始投身于慈善事业这个新领域时，就像钻进了荆棘丛生的树林中，到处是请求他慷慨解囊的各种书信，尽管他当时被舆论描绘成石油恶魔，但飞向百老汇26号的乞求信件却可用斗量车载。
洛克菲勒不得不在百老汇26号设立了一个专门班子处理这类信件。其中4/5的内容是私人要求捐助，另外1/5的请求来自各地的慈善团体、宗教和市民组织及其他机构。要分清这里面哪些是值得捐助的，哪些是不值得捐助的，需要相当大的精力、时间去分析研究。洛克菲勒想找到一套制度和管理原则，使慈善事业变成一项有效的事业，最大限度地处理好他个人的财产。
这时，他认识了盖茨。从1888年盖茨呈送给美国浸礼会教育团的那份出色的报告起，便引起了洛克菲勒的注意。他认真地观察了他三年，他看到了盖茨身上许多令人钦佩的东西，他有头脑有主见，精神饱满，生气勃勃。
盖茨对于慈善事业的理想，是渴望建立一个规模巨大的慈善托拉斯，足以与洛克菲勒创建的那个标准石油托拉斯匹敌，而且这个机构在赠与金钱方面的制度，也同标准石油公司在石油界所做的一样。盖茨想借助洛克菲勒的巨额资产，一步一步实现这一理想。
1897年，盖茨回纽约州乔治湖度假时，认识了一位在医学院求学的年轻人。通过他，盖茨了解到了许多医学知识和医学界的情况，并阅读了经典著作《医学原理与实践》。书中讲到如何诊断100多种不同的疾病，但却极少讲到如何治疗这些病。盖茨的结论是，只有1％的病例大夫知道如何治疗，对其他90％的病例，他都没有什么办法，只能听天由命。当时的美国，医学发展落后，远远赶不上欧洲先进国家。法国有巴斯德研究所。德国有高呵研究所，而美国：却根本投有这类医疗研究中心。盖茨感到，很需要设立一个医学研究中心，以提高整个医学界的水平，造福世人。
回来后，盖茨口授了一份备忘录送给洛克菲勒，正在寻求“要害”的洛克菲勒很高兴，他几乎马上同意了这个建议。
1901年底，在7位著名医生的共同努力下，在美国成立了第一个医学研究机构——洛克菲勒医学研究所。
研究所的工作开始进行得不太理想，因为研究目标不明确，加上资金不足，人手不齐，没有多大进展。于是这些医生请求洛克菲勒扩大研究范围，增加资金。洛克菲勒答应再增添100万美元改组研究所。这次选出魏尔奇医生的学生西蒙，弗莱克斯纳为研究所领导，并向全国招收优秀的医疗科学人才。
1904年，成立了新改组的医学研究中心，在弗莱克斯纳的带领下进行医学研究工作。1906年，洛克菲勒在东河的66街买下一幢大楼，作为研究中心的办公室。在那里工作的科学家组织起来，分为病理学、生理学、药剂学及生物学四大部门，其研究远远地走在了时代的前列。
1908年至1910年，研究所再度改组，从简单的小研究所扩展成现代化的大型研究所，只好把研究部门与财务部门分开。由洛克菲勒、盖茨、小洛克菲勒及墨菲等人专门成立了董事会来管理财务及行政，让研究所的科学家们专心从事研究，不必为杂务所困扰。洛克菲勒只管向医学研究提供资金，很少干涉研究活动，他鼓励研究人员放开手脚，大胆研究，不计成果。
在那个年代，研究所的科学家们成绩卓著，他们共获得了12项诺贝尔奖，比其他任何一个研究所获得的荣誉都多。还有，该研究所还拥有全世界最先进的设备。洛克菲勒先是提供了100万美元兴建了一幢实验室大楼，后来又花几百万美元设立了第一个医院和实验室的综合机构。医院设有60个病床及9个病床的隔离房。他们只收那些正在研究中的病历的病人，免费为他们治疗。后来，研究所又增设了动物病理学部门和植物病虫害部门。到了50年代，该研究所在纽约的大楼共有11座。
洛克菲勒的另一项慈善事业——洛克菲勒卫生委员会的成立，纯属偶然。1908年，当罗斯福总统在位时，南方的人民普遍生活清苦，且大部分人患有一种钩虫病。美国公共卫生署的查尔斯·斯蒂尔斯大夫在钩虫传染病方面已工作多年，他曾一再呼吁人们重视钩虫的危害——它是导致南方各州棉花工厂的工人中广泛流行的嗜睡症的病因，而且受这种病影响的人数高达几百万人洛克菲勒卫生委员会于1909年诞生。
委员会成立后积极开展预防和治疗钩虫传染病。起初，他们的工作在南方被人嘲笑，但坚持不懈的努力取得了辉煌的成就。这一卓有成效的工作使洛克菲勒受益匪浅，人们对洛克菲勒的名字的态度，发生了进一步重大的转变，这正是洛克菲勒想要的。
对于已经成立的几项大的慈善事业，医学研究所、普通教育委员会、卫生委员会，洛克菲勒还不十分满足。他想开创一项永久性的慈善事业，其捐款数目及影响，都要超越以前的几项慈善事业。盖茨曾向洛克菲勒建议，不仅在国内开展慈善事业，而且要把这一事业推向国外，推广世界性的医学研究及全球性的基督教义以增进人类身体和心灵的健康。
筹备工作进行了大约5年。然而，这一次时运不佳。当时，联邦政府正在对洛克菲勒的标准石油公司提出诉讼，反托拉斯法的浪潮正高，许多人都怀疑洛克菲勒的居心不良，另有企图。怀疑者还指出，洛克菲勒的这些捐助时机是经过精心选择的，他在1907年对普通教育委员会提供的一笔3200万美元的捐款，恰好是在兰迪法官对标准石油公司处以罚款的时候。而现在捐献5000万美元，又是在标准公司的律师们就解散标准托拉斯的诉讼案向最高法院提出辩护前几天。从时间上看，人们的怀疑的确有道理。
洛克菲勒只好先废弃了他原先的捐款，但他成立基金会的决心却没有动摇。他又向纽约州申请特许，由于该州的立法人士并不十分挑剔，于是在1913年5月，洛克菲勒轻易地在该州通过了特许，成立了洛克菲勒基金会。洛克菲勒拨出一亿美元供这个基金会使用。
基金会在成立后的几年时间里，发展成一个国际性机构，大力参与各种国内外的救助工作和教育运动。
石油事业后继有人
1874年，老洛克菲勒在他事业的道路上，恰好走了一半，十二年前他开创了克拉克——洛克菲勒公司，十二年后，他又开创了美孚托拉斯。那时他还不是很出名，但青云直上之势却是任何镀金时代任何巨人所望尘莫及的。就在这年1月29日，洛克菲勒的妻子塞蒂为他生下了一个儿子和继承人——小约翰·D·洛克菲勒。
小洛克菲勒从小意志坚毅，他在本子上反复练习一句家庭格言：“能克制自己的人是最伟大的胜利者。”后来，当他上布朗大学时，他意识到，作为儿子他将继承父亲的巨大财产，而且将维护家族名声，荣宗耀祖。1901年10月，小格克菲勒与美国参议员纳尔逊·奥尔德里奇的千金艾比·格林·奥尔德里奇小姐结婚，其后，艾比的作用已不止于为洛克菲勒家族的威望添砖加瓦。
在十九、二十世纪之交，许多曾经使美国工业改换新貌的大人物先后陆续离开人世，他们的家产将传到谁的手中，人们对此极为瞩目。与别的大公子挥霍无度的举措相比，小洛克菲勒的聪明精干、节省、勤劳的作风确实令人觉出他是位与众不同的新的企业巨子。他被父亲委派参加花旗银行、美国钢铁公司、新泽西美孚石油公司、科罗拉多燃料与铁矿公司、几家铁路公司以及芝加哥大学的董事会。总之，他已成为美国十七家最大的金融和工业企业的董事。与此同时，他积极投身社会公益慈善事业，促使七个服务性组织，包括基督教青年会、基督教女青年会、全国天主教战时委员会、犹太福利会和救世军等扭成一股劲，实施第一次世界大战后举世闻名的洛克菲勒基金会战时救济工作。不久，他被邀与总统柯立芝在椭圆形办公室里共进午餐——他不是作为一个知交密友或竞选运动的捐助人的身份，也不是通常以企业界代表的身分，而是作为实施国家法律的第一流公民团体的首脑去参加的。不久，无论在自然保护方面还是在教育方面，在具体确定外交政策方面还是在医学研究方面，在行政管理方面，还是在艺术收藏方面，在这个国家最有威信、最有影响的一些机构中，小洛克菲勒都占据着独特地位。
到了二十世纪三十年代，小洛克菲勒的成就已是无可否认的了。他在进行实效慈善业的捐资时，并没有忘记为家族增加新的财富。1913年，他说服老洛克菲勒，买下了公平信托公司。由于家族财富的巨大的潜在力量，到1920年公平信托公司已拥有二亿五千四百万美元的存款，成为全国第八个最大的银行。到1929年，通过一系列诡计多端的合并，它吞并了14家较小的银行和信托公司，不仅成了全国最大、最强的银行之一，并且在国外也开设了许多分行。它成为洛克菲勒家族日益复杂的金融计划的一个重要部分。后来，他们又成功地与世界上最大的银行——大通银行进行合并，并通过几次较量，将银行董事会控为已有，小洛克菲勒使大通银行成为洛克菲勒金融势力的未来的基石的同时，他还把他的一些美孚石油公司股票再投资于国际商业机器公司、通用汽车公司和其他一些新的公司。这些投资都为他赢回了数倍于投资的巨大的利润。
1939年，耗资1.2亿美元的洛克菲勒中心大厦终于落成。两年前，老洛克菲勒与世长辞了，两年后中心大厦落成时，小洛克菲勒（时年已经65岁）为大厦钉上了最后一颗铆钉。
应该说，关于洛克菲勒家族从发迹到飞黄腾达的神话，就像眼前这座宏大建筑物一样，它螺旋形地上升到可怕的高度。洛克菲勒中心大厦是小洛克菲勒一生事业的顶点，也是他一生事业的结晶。然而他真正的成就，却将通过他的孩子们表现出来。他们正在舞台两边等着，准备上台表演。
1971年，这位生活了近一个世纪的老人走到了生命的终点。5月23日，一个星期日的凌晨，他毫无痛苦地去世了，享年97岁。守护在他床边的私人医生向记者们描述这位标准石油公司的创始人逝世时的情况时说：“他的心脏逐渐停止了跳动，脉搏马上变得虚弱和不规则，呼吸越来越微弱，最后在4：05停止了呼吸。”