清朝末年，中国人开始走出国门，学习西方先进的科学技术，辛亥革命后，大批留学生陆续回国，并大力传播当时西方最新的科学知识。
随着新文化运动的兴起，中国人民真正认识到了科学的重要性。于是，一个讲民主、倡科学的风气在很短的时间，席卷全国，为中国近代科学技术的创建和发展奠定了思想基础。
近代科学技术的复杂性和日益庞杂的研究规模，决定了科学技术需要许多学者、工程师、熟练工人有组织地分工协作。按照一定的计划开展研究。这就需要有专门的研究组织和机构。正是这种近代科学技术的发展趋势和国内有识之士的努力，促成了中央研究院的成立。
民国初年，一些早年出国留学并学有所成的中国学者，为了开创国内近代科学研究的条件，正在积极地组织科研团体、筹建研究机构。经过中国近代地质学的开拓者章鸿钊的努力，中国近代第一个科研机构——地质研究所，于1913年成立，在培训了一批地质人才后，所有人员转到了地质调查所。初期，地质调查所属工商部管辖，后改为工矿部，1930年又隶属实业部。由于得到了政府部门的支持，地质调查所才得以生存和发展，并为后来建立的各种科研机构开创了成功的先例。
1914年，任鸿隽、赵元任、杨杏佛等一批留学美国的学者，决定发起并组织中国科学社。1918年，该社的办事机构由美国迁回国内。
1924年，孙中山应冯玉祥之邀北上。在北京时，孙中山就曾拟议筹设中央学术院，作为全国的最高学术机关，并命汪精卫、杨杏佛、黄昌谷起草计划。孙中山病逝后，此事就被搁置了起来。
南京国民政府成立后，李石曾于1927年4月17日在国民党中央执行委员会第七十四次会议上提议，设立中央研究院。同年5月9日，国民党中央政治会议第九十次会议决定设立中央研究院筹备处，并推举蔡元培、李石曾、张静江等人为筹备委员。
1927年10月，大学院成立。大学院是全国最高学术教育机关，管理全国学术及教育行政事务。根据组织条例，蔡元培聘请谌湛溪、曾昭抡等30余人为中央研究院筹备委员。11月20日，蔡元培主持召开了“中央研究院筹备会及各专门委员（会）成立大会”。会议制定并通过了《中华民国大学院中央研究院组织条例》，确定中央研究院为中华民国最高科学研究机关，院长由大学院院长蔡元培兼任，设立理化实业研究所、社会科学研究所、地质研究所及观象台，秘书长为杨杏佛，各研究所筹备会常务委员分别是：理化实业研究所为王小徐、宋梧生、周仁；地质研究所为徐志摩；观象台为竺可桢、高鲁；社会科学研究所为蔡元培、李石曾、周鲠生。
1928年4月10日，中华民国大学院中央研究院改为国立中央研究院，成为独立机关，仍由蔡元培任院长。6月9日，蔡元培在上海召开了第一次院务会议，中央研究院从此宣告成立。
根据南京国民政府公布的《国立中央研究院组织法》，国立中央研究院直接隶属于国民政府，为中华民国的最高学术研究机关，其任务是：（一）实行科学研究；（二）指导、联络、奖励学术之研究。其组织形式是在院长领导下设立行政、研究、评议三部分，以研究为主。
1928年11月，中央研究院正式办公，总办事处设在南京，在上海设立办事处。蔡元培自中央研究院创办之日起任院长，直至1940年逝世，前后共13年。在他任院长的10多年间，能够做到知人善任、选贤择能、发扬民主，为中央研究院的发展费尽了心血。
中央研究院的行政部门是总办事处。设总干事一人，干事3—5人，下设文书处、会计处，机构非常精炼。
评议会根据中央研究院组织法第十一条设立，职权为：（一）决定中央研究院之学术方针；（二）促进国内学术之合作与互助； （三）国立中央研究院院长辞职或出缺时，选举院长候选人3名，再请国民政府遴任；（四）受国民政府之委托，从事学术之研究；（五）受考试院之委托，审查关于考试及任用人员之著作或发明事项。
中央研究院的主体部分是各研究所。从1927年秋开始筹备，到1930年初，共有物理、化学、工程、地质、天文、气象、历史语言、心理、社会科学9个研究所和一个博物馆。
抗日战争爆发后，中央研究院因人员和重要设备的迁移而不能开展正常的工作，直至1945年抗日战争胜利后，中央研究院和各研究所才逐渐地迁了回来。在1945年10月召开的第二届评议会第三次年会上，会议认为，为了加强学术研究，促进国内外的学术交流，必须建立院士制度。
中央研究院的院士是一种终身荣誉，它由选举产生。首先要经过各大学、各独立学院、各著有成绩的专门学会研究机关，或院士或评议员5人以上提名，再由中央研究院评议会审查才能作为候选人，最后，经过评议会年会的选举才能成为一名院士。
1948年3月10日，在召开的第二届评议会第五次年会上，选举产生了中国历史上首批共计81名院士。其中有华罗庚、陈省身、苏步青、吴大猷、叶企荪、严济慈、李四光、竺可桢、茅以升、童第周、胡适、郭沫若、马寅初等著名科学家。
中央研究院各研究所在成立后20多年的时间里，取得了显著的研究成果。1928—1929年，历史语言所在安阳小屯村发掘殷墟，发现了大量殷代青铜器和甲骨卜辞，使中国古代历史向上推移了千百年，成为中国和世界考古学史上的一件大事，它标志着中国近代考古科学的成熟；地质所在30年代初期曾在庐山等地找到我国第四纪冰川遗迹；物理所进行了电学、磁学、光学的研究，后来还开创了核物理、金属学、结晶学以及短波的研究；化学所着重于分子光谱、性激素、中药成分的化学分析、化学玻璃的性质及平阳矾矿的利用等研究；数学所的研究主要在近代数学理论方面，开展了数论、代数、微分几何、拓扑学、级数论、数理统计6个部分的研究；天文研究所筹建了紫金山天文台，编制了国民历及南京授时的发布，着重开展了天体方位和形态的观测；气象研究所观测并研究了中国气候的变化规律，竺可桢关于中国雨量和台风的研究工作引起了国际气象学界的重视；动物所做了动物分类学研究，后来着重于鱼类生物学、昆虫学、寄生虫学、原生动物学和实验动物学的研究；植物所开展了植物分类学、藻类学、真菌学、森林学、植物生理学、植物形态学、植物病理学及细胞遗传学的研究。