深度学习教你如何“以貌取人”

2017 年 9 月 12 日 极市平台

本文经授权转自IJAC

与人交往时，潜意识里我们习惯“以貌取人”。看脸的时代，颜值很大程度上决定了别人对你个性和智商的评价。为找到人格特征、智力水平和外貌之间的关系，来自中科院自动化所模式识别国家重点实验室的胡占义教授团队首先建立了一个由面部图像、个性测量数据和智力测量数据组成的数据集。而后，构建端对端卷积神经网络研究个性和智力是否可以通过外貌准确预测，首次将深度学习运用到个性和智力测量上。结果表明：1）人格特征中的自律性和紧张性可通过外貌准确预测；2）智力水平很难通过外貌预测；3）在预测人格特征时，卷积神经网络优于传统手动描述器。

自古以来，人们就试图找到面部特征与人格特征之间的联系，这就是我们常说的“面相”。心理学研究证实：在对他人做出评判时，外貌起着决定性作用。长相在很大程度上会影响性格品质评判，在一些重要场合，比如选举或法庭判决，长相往往可以左右最终结果。有研究表明，亲和力、责任心、外向性和控制欲这四种品质可以通过外貌准确推断。

8月，IJAC第4期正式出版，来自中科院自动化所模式识别国家重点实验室的胡占义教授及其团队教你用深度学习推断个性、预测智商。研究首先采集了186名在校大学生（94名男性，92名女性）的正面照片，每位大学生会对自己的人格特征进行评价，并接受智力测验，基于此，借助深度学习技术，本文进一步研究了面部照片是否可以测量智力水平和人格特征的问题。早前，在测量人格特征和智力水平时，通常借助手动特征描述器从面部照片中截取面部特征，而后使用典型的机器学习方法来训练模型。与之不同的是，本文利用端对端卷积神经网络(end-to-end convolutional neural network, CNN)来测量人格和智力，面部特征可从正面照片中自动获取。我们设计的多任务神经网络(multi-task neural network)可同时测量人格和智力。在过去的20多年里，人脸识别发展迅速，深度学习技术在人脸识别的应用上也取得了很大成功。但至今为止，还没有研究使用CNNs，通过人脸测量人格和智力，本研究可谓实现了“零的突破”。

图片来自IJAC官网

我们的实验结果显示，部分由基因决定的人格特征可以从面部图像准确推断，而部分受环境影响的特征却无法推断，回归实验中得到的预测分数与自测人格和智力得到的分数间不存在明显的线性关系。本研究主要有以下两点创新：一、我们首次设计端对端神经网络来截取特征、完成分类，从人脸照片中测量人格特征和智力水平；二是建立东亚人数据集，找到人格特征、智力水平和面部图像间的相互关系，该数据集由脸部照片、人格测量及智力测量数据组成。

数据集

本文构建了“面相数据集”(physiognomy dataset)来研究人格特征(及智力水平)与面部图像之间的关系。该数据集由面部照片、人格测量数据及智力测量数据组成。当前的大多数研究数据都来自高加索人种(Caucasian race)，与此不同的是，本文的研究数据来源于东亚人种(East-Asian race)，包括186位志愿者的面部照片，其中有94名男性，92名女性。采集照片时，要求每位志愿者都坐在白色背景墙前，表情自然放松。

人格测试

本文采用了“卡特尔16种人格因素问卷”(简称16PF)来测量志愿者的人格特征。16项人格因素为：乐群性、聪慧性、（情绪）稳定性、恃强性、兴奋性、有恒性、敢为性、敏感性、怀疑性、幻想性、世故性、忧虑性、实验性、独立性、自律性、紧张性。所得到的测试数据，经由北京师范大学教育培训中心研发的软件进行处理后，可对每一种人格作出1--10分的评分。在16个人格因素的基础上，卡特尔进行了二阶因素分析，得到了4个二阶公共因素，即适应与焦虑性、内外向性、感情用事与安详机警性、怯懦与果敢性。本文的实验综合使用了上述20种人格特征来分析每位志愿者的人格特征。

图片来自文章

智力测试

本文采用了英国心理学家瑞文1938年设计的“瑞文标准智力测验”(简称SPM)，旨在测试志愿者的观察力及清晰思维的能力。为表示受试者的智力水平，测试结果被转换成了百分数。整个测试由60个问题组成，分为ABCDE五组，每组12个问题。从第一组到最后一组，难度逐渐上升，每组内部的问题也是由易到难。完成每组题目所需的思维能力均不相同，参与本研究的186位志愿者全部完成了该智力测试，得到的分数用于智力水平分析。

图片来自文章

数据预处理

首先，基于本文作者前期研究的方法，将照片中的瞳孔设为面部特征点。而后，基于这两个特征点，再对数据集中的所有照片进行旋转或缩放调整，使其处在水平面的固定位置上。此外，为去除照片中的无关信息，本研究只选取了照片中的局部，保证眼睛处在同一水平面上，并且露出一定量的脖子。

图片来自文章

基于CNNs的人格特征预测

本文将人格预测问题转化成分类问题和回归问题。为构建分类标签(classification labels)和回归目标(regression targets)，人格特征分数和智力测量分数都转换成了相应的值。本文利用CNN来解决上述两个问题，输入信息是面部图像，其对应的人格特征和智力水平在测试阶段(training phase)作为标签使用。

在分类问题上，本研究将21种人格特征分成了两大类。每种人格特征的分数都在1至10之间，因此，规定6至10分为“具备特征段”，1至5分为“不具备特征段”。同样地，在进行智力水平分类时，为平衡两大类中的样本数量，规定智力得分等于或小于75%的样本为一类，高于75%的为另一类。分类的准确性用于评估分类模型。在回归问题上，本文直接将每种人格特征的分数和智力水平的百分数值作为回归目标。均方根错误(root mean square error, RMSE)用于评估回归模型。

图片来自文章

实验结果

1. 人格和智力分类

实验结果显示，“自律性”(Rule-consciousness)和“怀疑性(Vigilance)”两项得分的准确度高于机会水平(chance levels)。“怀疑性”(Vigilance)的准确度达到77%，“自律性”(Rule-consciousness)的准确度高达82%。高准确度表明：这两项人格特征与面部特征紧密相关。对于智力预测，准确度略高于机会水平，由此可知：通过面部特征预测智力水平是一件非常困难的事情，可能性微乎其微。

图片来自文章

心理学家曾对双胞胎做过相关实验，最后发现人类近50%的人格特征受基因影响，另一部分受社会环境影响。同时，生物学家也证实人类的面部特征很大程度上由基因决定。因此，由基因决定的人格特征与面部特征关系密切，并且可以通过面部图像准确预测。

2. 人格和智力回归实验

回归实验中，本文直接将每种人格特征的分数和智力水平的百分数值作为回归目标(regression targets)。

图片来自文章

实验结果显示：“自律性”(rule-consciousness)、“乐群性”(openness)、“有恒性”(perfectionism)、“紧张性”(tension)的错误值较其他人格特征小，而“世故性”(social boldness)、“怀疑性”(vigilance)和“内外向性”(introverted or extroverted)则更大。这意味着后三种人格特征与面部特征关联较小。相比之下，智力的拟合误差(fitting error)高，因此很难通过面部图像准确预测一个人的智力水平。

网络照片预测人格特征

上文中，我们使用CNN研究通过面部图像是否可推断人格特征和智力水平。回归实验和分类实验结果表明：特定人格特征可由面部图像准确推断。为进一步验证实验结果，本文又建立了一个新的数据集，包括两组从互联网下载的正面照，照片中人物表情自然放松。一组为明星，一组为教师。本文构建了相应模型展开实验，试图回答具有相似社会行为的个体是否具备相似人格特征这一问题。之前建立的“面相数据集”(physiognomy dataset)用于训练神经网络，这一新数据集用于测试。

实验结果表明：同一组样本表现出若干相似的人格特征。明星组在“聪慧性”(reasoning)和“兴奋性”(liveliness)上得分较高，在“情绪稳定性”(emotional stability)上得分较低。明星通常学得快、反应也快，这就印证了“聪慧性”的高得分。相比之下，得分低的两项表明他们的情绪缺乏稳定性、性格活泼热情，这正反映了数据集中明星的个性特点。与之不同的是，教师组在“兴奋性”(liveliness)和“外向性”(extrovert)上得分较高，日常生活中，他们往往精力充沛、善于表达、懂得与学生沟通，与实验结果相差无几。