有些人说，“喔，我从不记得人们的脸孔”或“我向来记不得人名”。事实上，大多数人都无法准确地预测自己的整体记忆能力。在英国，有一百位家庭主妇被邀请参与一个实验，请她们评估自己对人的面貌的记忆能力，然后接受人脸记忆的测验。实验结果显示，在自我预测与真实能力之间并没有任何相关存在。
对于面孔的记忆，可能与大脑内某特定区域有关。有些失忆症病人（Prosopagnosia）无法记忆脸孔，但对其他物体的记忆却仍完好，可见这类失忆症有其独特之处，许多学者也正针对人脸记忆机制加以研究。医生们发现，婴儿能以母亲脸孔的局部作为辨识线索。在母亲脸孔的大部分被遮蔽的情况下，只要关键特征，如双眼或双颊仍可见，那么婴儿还是能够认出母亲来。
即使刚出生的婴儿也能辨识人脸的形状。芬兹博士设计了两种图案，其一具有人脸模型，其二则运用相同图形，重新组织成抽象的图案。然后再将这两种图案投射到婴儿房天花板上。结果婴孩们显然较喜欢盯着具人脸形貌的图案看。
当人脸照片上下倒置时，大多数人便产生辨识上的困难。
然而右脑受损的病人在辨识倒置的人脸时，表现较常人为佳，在辨识正放的人脸时，表现则较常人为差。这意味着，人脸的辨识的确与大脑功能有关，而且人脸的左侧可能是辨识线索之来源（译注：因为右脑受伤者，可能损及左侧讯息之提取）。