物质与文化环境以及良好的教育，可以说是智力发展的决定性条件，因为大多数素质差不多的人，其智力发育之所以有差别则是环境和教育的影响。人的智力，是在一定的素质基础上，是在一定的环境中，在进行活动的过程中形成和发展起来的。人的活动，总是在一定的社会历史条件下进行，要受到社会历史条件和生活环境的制约。因此，社会历史条件和人们的生活环境对人的智力发展有重大影响。纵观人类社会发展的历史，有些时期，人的智力的发展有较好的条件，因而人才辈出。我国的春秋战国时期、初唐和晚唐、民主革命时期，都出现过这种盛况。甘罗7岁拜相印，李贺少年即诗人，正是由于所处的历史环境有利于他们潜能的发挥。
人们所面对的客观现实，是制约智力发展和发生的。它包括自然和社会生活，就其实质而言，可以简单地归结为人类在其发展过程中历史地造就的社会环境。如果说人的素质是在提供物质基础的意义上决定着人的智力的发生和发展，那么社会环境在人们必需的生存条件的意义上决定着人的智力发生和发展。离开了社会环境，人就不能作为社会的存在物而存在。“狼孩”的智力为什么不同于正常人的智力？其原因并不在于他们的素质最初有什么特异之处，而是在于他们在狼群中生活期间脱离了一定的社会环境。因此，确切地说，人的智力是在社会环境中所造成大脑功能的一种表现。
在一定的历史条件下，人的智力，主要是通过家庭与教育而形成和发展起来的。郭沫若说过：“历史上的有名人物，每每都有一个好的家庭环境”。所谓每每都有，并不是说每个有名的人都有，而是说常常可以看到有名人物有一个好的家庭环境。曹植的父亲曹操，不仅是有名的政治家、军事家，还是有名的诗人，很有才华，也很爱惜人才，在这样的家庭环境中，曹植的能力很容易得到发展，所以很小就能写诗。司马迁的父亲司马谈，很有学问，做过“太史令”，司马迁自幼有机会接触历史，后来成了杰出的历史学家。苏东坡的父亲、弟弟都是有名的文学家，妹妹的文学才能声名遐迩，这个文学之家，一直传为佳话。可见家庭对人的智力发展的影响，是不能否认的。一个人小的时候大部分时间在家庭里生活，对家庭成员的工作、学习情况，耳濡目染，容易受到潜移默化的影响，家庭成员也在对孩子进行着自觉的教育和指导。此外，家庭中的物质生活条件、学习条件和交往情况也起着重要的作用。
在社会环境的各种因素中，教育对人的智力产生的影响最大。这是因为教育是以培养人才为根本任务的社会活动，是有目的、有计划、有组织并采取一定的方式和方法对人施加影响的专门活动。
神经生物学的研究也表明：大脑处在丰富环境中（如激发、变化、适应、新颖），无论是多大年龄，神经细胞都有生长能力。