在美国掀起智力测试狂潮之时，就有人对智力测试的标准产生了质疑。因为从标准本身来看，很难判断所测试出的结果确为天生的智力。这种质疑当然有其道理，至少在斯坦福-比奈标准测试中存在这些问题。该标准测试中的许多或大部分题目，测试的是遗传能力和后天所学知识或技能的组合。对于一个没有机会获取知识或技能的人来说，他或她根本不可能做出令人满意的答案，不管其天生的心理能力是强是弱。
比如，在12岁的标准水平上，斯坦福-比奈法问到了“慈善”和“公正”两词的定义问题。如果一个来自西南农村棚屋地区的墨西哥裔美国孩子答题不充分，是他天生存在智力缺陷呢，还是该孩子未能接受到美国白人中产阶级的孩子就这些概念所能学习到的意义呢？再比如，在8岁水平的斯坦福-比奈标准测试中，有这么一道题：“如果你把属于别人的东西弄坏，应该怎么做呢？”如果这位8岁的孩子生活在城市的贫民窟里，在这里孩子们需要拼命挣扎才能生存下去，那么，他或她的答案反映出的是其天生智力水平呢，还是贫民窟的传统或这种子文化中的习俗？
比奈留下了一个悬而未决的问题，即，按照他的标准测试出来的结果，心理发育到什么程度才是遗传或经验所致？但特曼在《智力测试》（斯坦福-比奈标准测试的说明手册）中说道，尽管存在上述反证，智力在很大程度上还是遗传所致。如果分数很差，则表明有心理缺陷，而这种心理缺陷是基因与种族的特质：
（低智力）在西南部的西班牙――印第安和墨西哥家族及黑人中相当普遍。他们的木讷看上去似乎与种族相关，或至少是来自于其家族的遗传……笔者预测……人们将会发现，种族间可能存在着巨大的智力差别，这些差别绝非任何形式的心理培养所能消弥。
1922年，一位受人尊敬且博学的专栏作家沃尔特李普曼（Walter Lippmann）在《新共和》杂志上发起一场批判运动，批评特曼、耶基斯及其他宣称智力测试能够测量天生心理能力的人。李普曼评判了这一课题，认为智力测试从过去到现在，给一些孩子，特别是一些贫穷人家的孩子，贴上了次人一等的永久标签，从而使其服务于抱有偏见且有权有势的阶层。
他和其他持相同观点的人士，列举出非常充足的证据以反对陆军的阿尔法测试法，其激烈程度甚至超过他们对斯坦福-比奈法的反对。他们还批评了耶基斯以阿尔法方案为模型的测试法可“测量天生智力”的观点，认为阿尔法问题中的许多答案要求的显然是后天所学知识，而不是先天智力。斯迪芬？杰伊？古尔德（Stephen Jay Gould）在其辩证研究《人的误测》一书中，将这一点表述得淋漓尽致。他在书中引述下列例子：
华盛顿与亚当相比，就像第一与……相比。
克里斯哥是：专利药；抗感染药；牙膏；食品。
非洲黑人的腿的数量是：2；4；6；8。
克里斯蒂？马修森成名的原因是：作家；艺术家；垒球手；喜剧演员。
古尔德教授继续说，贝塔方案中的一些问题的确可以合理地测量出普通的心理能力，因为识字不多的受试者完全可以完成一些没有画完的图形（比如，在一张脸上补上嘴，或给一只兔子加上耳朵）。但在其他许多问题上，只有拥有专业信息的受试者才能正确地将其完成（比如，给灯泡加上灯丝，给网球场加上球网，给投手的手上放一只球）。当一些来自不同文化背景的移民回答这些问题时，其答案看上去肯定是愚不可及的。
的确，陆军测试方案的结果，正如耶基斯在1921年的报告中所表述的那样，反映的是一个其人口由于较差的基因血统的增加而正在智力下降的社会。按照阿尔法和贝塔方案，美国白人男子的平均心理年龄只有13岁，仅仅略高于低能儿，尽管特曼后来将该年龄拔高至16岁。古尔德认为，这些令人万分惊讶的数据增强了美国的仇外心理、种族仇恨和精英治国思想：
新的数字已达到令优生主义者嘲笑的地步，因为他们早已预测了这样的后果，认为如果对低能儿和贫穷者的生育不加控制，如果黑人的血液通过种族通婚得到广泛传播，如果放任大量南欧及东欧移民渣滓进入国内，就将导致智力不断下降。
耶基斯还支持哥达德在艾利岛上的数据。他的报告说，阿尔法及贝塔方案显示，南欧及东欧的斯拉夫人种在智力上逊于北欧和西欧人种。正是这些“发现”促成了1924年移民法的出笼。随着智商争执的升温，智力测试在30年代开始在心理学研究中降温。到40年代，降温的速度开始加快，同时，总体智力的观点也逐渐消退。利用先进的统计方法而形成的新的研究方法，在心理特征的所有“因素”或特征簇中已找到了特别的相关性，从而使智力测试的意义或实用性蒙上了阴影。
尽管如此，测量一系列心理能力并得出叫做智力的综合分数的测试方法，被教育工作者、商业机构负责人和其他人继续使用着。到20世纪60年代，这些测试再次受到攻击，攻击者是人权主义者。一些心理学家甚至走到否认存在任何智力的地步。比如，纽约大学的马丁？多依奇（Martin Deutch）教授曾于1971年强调：“智力是一个非常方便的用词，可以解释某些行为，但我怀疑，事实上，这种东西本身并不存在。”另有一些心理学家和教育工作者倾向于波林早先的认识，认为人们讲不出智力是什么，智力只不过是智力测试所测试出来的东西。
尽管人们长期以来对智力测试说东道西，但智力测试依旧得到人们的广泛应用，应用者也是振振有词。
一方面，这些测试的确可以相当准确地预测出孩子们在学校里的表现如何，使教育者知道哪些孩子应予特别关注，或应施以何种强化教育。
另一方面，最近，对一些姐妹双胞胎和兄弟双胞胎，特别是那些出生不久即分别在不同家庭哺养的双胞胎，进行的复杂统计表明，心理能力在很大程度上具有遗传性。这一研究结果远比古尔德所能确立的证据有力，因此，智力测试除能测试后天所学之外，的确也能测出先天能力。
在一次相当有说服力的研究中，心理学家大卫？W.富尔克、约翰？C.德富里和罗伯特？普罗明测试了245位不同年龄的继养孩子、其生身父母及继父母的认知能力，结果吃惊地发现：与不在身边的生身父母的相关性随时间增加，而与继父母的相关性却随时间减少。从这一数据中，研究者计算出，心理能力的可遗传性在7岁时约为36%，而在儿童期稍后几年，则相应增高。
关于智商的争议潮起潮落，一波三折。政治蒙蔽科学，科学又为政治所用。这场争斗至今仍在继续，目前还看不到终止的迹象。不过，从早期智力测试中直接传承下来的正统版本，现今已得到很大修改，比早期更贴近“文化公平”。在美国学校、政府机关、军方、工业和其他领域里，这些测试仍然得到广泛的应用。