微表情是一种短暂的、微弱的、无意识的面部微表情,持续时间往往在0.5s内,能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能,能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低,对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究,由中国图象图形学学会(CSIG)主办、CSIG机器视觉专业委员会承办,中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。
第六期云上微表情于2020年10月15日晚7点进行,由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到了江西中医药大学的申寻兵博士和湖南师范大学的吴奇博士,以微表情与欺骗检测为主题进行了分享。本次报告得到了微表情研究领域的广泛关注,期间有五十多位听众参加了此次讲座。
申寻兵博士 - 微表情与欺骗检测
申寻兵博士从微表情的研究历程和背景、欺骗检测和欺骗线索、欺骗线索之一:微表情、以及微表情与欺骗检测的现在和未来这几个方面,为我们进行分享。
首先从十年前中国青年报的一张照片开始,申博士为我们分享了在做微表情和欺骗检测时的研究历程和背景。申博士表示,事实上,从加拿大学者Alysha Baker十年前首次提出表情和欺骗的实证研究至今,目前微表情和欺骗之间的关系在心理学理论上仍存在争议。
从2001年至今,世界各国发生的恐怖袭击等案件,使我们逐渐意识到对“人”本身进行安检的重要性。然而,当人们进行欺骗行为时,往往是有线索可循的,因此引出探索欺骗线索的重要性。欺骗检测的线索包括视觉线索、言语/非言语线索、生理线索和情绪线索等。在欺骗的过程中往往伴随着一些情绪的产生,当这些情绪泄露出来时,就会引发微表情的产生。
Timothy R. Levine等人对利用各种线索进行欺骗检测的正确率进行统计,发现这些线索的正确率呈正态分布。瞳孔和音高两个线索是目前研究较多、较为可靠的欺骗线索。利用微表情线索进行欺骗检测的生态效率较高,但研究内容较少。申博士向我们分享了他发表在《心理科学进展》上关于微表情在欺骗检测中的应用文献综述。
最后,申博士分享了微表情应用于欺骗检测的前提以及微表情与欺骗检测的未来趋势。他认为,微表情概念的界定和对微表情进行有效的识别,是微表情应用于欺骗检测的前提,同时也是目前研究中需要攻克的重点和难点,呼吁大家将研究聚焦在这两个问题上。将心理学与计算机建模进行结合是未来研究的大趋势。
吴奇博士-微表情识别的生理基础:面部反馈与催产素的作用
吴奇博士从微表情识别的影响因素的角度为我们进行了分享。
微表情在司法、临床等领域具有非常重要的应用价值,这体现了微表情识别的重要性。目前微表情的识别主要有两种手段,一种是人对微表情进行识别,另一种是利用计算机视觉技术对微表情进行识别。虽然计算机视觉的应用前景广泛,但是由于某些应用场景比较特殊,需要进行人工识别。
而人对微表情进行识别是可以进行训练的,并且目前也已经研究出训练的工具,但生态效率往往不高。这主要是因为对微表情的心理过程的了解是有限的。目前对宏表情的心理过程的研究较多。这些研究表明,从感觉-运动系统出发,大脑相关的神经网络对面部肌肉进行反馈,可以影响对宏表情的识别。那么面部反馈是否可以应用到微表情的相关研究?
吴奇博士针对这一问题对微表情识别方面进行了一系列研究。针对面部反馈的增强对高/低强度微表情产生的影响进行研究,结果与宏表情识别结果相反,面部反馈对微表情识别是有抑制作用的。
在此基础上进一步进行研究,探究增加面部反馈的不同部位(上半张脸/下半张脸)对高/低强度微表情识别的影响。
通过上述研究,吴奇博士结合大脑催产素系统针对为什么面部反馈会成为微表情识别中的抑制性线索进行了讨论。
此外,吴奇博士介绍了微表情识别和个体的一般性社会信任之间的关系,社会信任度越高的个体对微表情的识别能力越弱。同时吴博士团队还研究了跨人种的微表情识别,提出了内团体的识别弱于外团体的识别。最后,吴博士对微表情识别和信任度的关系展开了进一步的分析和探讨。
在讨论环节,听众们踊跃发言,提出了很多非常有讨论意义的问题。讨论问题主要涉及到以下方面:
1、申博士对吴奇博士研究中催产素相关部分进行了提问,不同个体是否会对催产素的体验存在差异?吴奇博士表示,实验设计采用了被试间设计,控制了催产素的剂量,尽量排除个体差异的影响。
2、在进行研究时,是否有对于上、下半张脸进行进一步的细化?吴奇博士表示,由于本研究的重点不在面部的细节上,因此没有对面部-眉毛、眼角这些细节部位进行研究,本研究的重点在于催产素所导致被试激素的变化,从而使被试产生亲社会的感受,从社会心理学的角度,研究人在进行微表情识别时的影响因素。
3、在结合计算机视觉的微表情研究中利用了OpenFace工具,具体利用其实现了哪些功能?申博士表示,在研究过程中利用OpenFace检测了人脸特征点和面部动作单元(Action Unit),分别研究了基于人脸特征点位置相关性的人脸表情的不对称性和表情常见的AU,如恐惧的表情常见于AU20。
4、研究过程中如何诱发被试的微表情?通过诱发情绪的视频诱发被试的微表情,利用生态化的数据库进行微表情识别。此外,还进行了网络视频材料的收集整理,为后续真实场景的微表情分析提供基础。此外,吴博士提出:微表情的诱发不一定会通过一定的刺激就会产生,是内部因素和外部因素权衡的体现。
在活动的最后,讲座主持人李婧婷博士对活动进行了总结并对后续两期CSIG云上微表情活动进行了预告。敬请继续关注!