TPAMI 2019 | 鲁棒RGB-D人脸识别

2019 年 6 月 8 日 计算机视觉life

点击上方“计算机视觉life”,选择“星标”

快速获得第一手干货

本文来自USTC计算几何实验室。是由中科大和卡迪夫大学联合发表在TPAMI 2019的论文: Robust RGB-D Face Recognition Using Attribute-Aware Loss


【背景与问题】

(图1. 攻击者B换上被盗用者A的人脸)

(图2. 使用苹果手机的Face ID进行手机解锁和交易支付)

        

基于图像的二维人脸识别系统已经用于人们的日常生活中,比如门禁系统,手机解锁和刷脸支付等等,然而,最近出现的一些换脸技术(如图1)引发了公众对于人脸识别安全性的担忧。 由于三维人脸模型不同于二维人脸图片受姿态,光照和遮挡的影响,三维信息辅助的人脸识别可以极大地提高人脸识别精度与鲁棒性,在近期受到了业界的广泛关注。例如,越来越多的智能手机加入了前置三维人脸识别功能,比如苹果的Face ID(图2),可以直接用于手机支付应用场景。


【解决方案】

(图3. 在人脸识别中引入属性信息改善人脸特征学习过程)

        

本文为基于卷积神经网络的人脸识别提出了一种属性感知损失函数。该函数可以根据额外的属性信息(比如年龄,性别和民族)来调整人脸特征向量在高维空间中的分布(可见图3)。更具体地,利用属性之间的差异来线性逼近人脸特征向量之间的差异,使得具有相似属性的人脸图像对应的人脸识别特征也是相似的,从而改善人脸特征映射的学习过程。

(图4.  数据集中一些RGB-D人脸样本)

        

而且我们还构造了一个超大规模的 RGB-D 人脸数据集。该数据集包含超过130万张具有11万个不同身份的人脸彩色图像,其中每张彩色图像对应着一张人脸深度图(可见图4)和属性信息(年龄,性别和民族)。大多数人都是以正面姿态和中性表情面对深度相机进行拍摄的,并且每个人是在不同的时间段和光照条件下被记录的。

(图5. 本文方法的流程图)

        

最后我们联合使用Softmax损失函数和属性感知损失函数在这些经过预处理的RGB-D数据上训练人脸识别模型,具体流程可见图5。并在公开的测试集和私有的测试集上验证本文方法的有效性。

【实验结果】

(图6.  展示了私有测试集中五位男性和五位女性的人脸特征向量的分布。(a)是使用人脸彩色图像数据训练得到的人脸特征;(b)是使用人脸彩色图像数据和属性数据得到的人脸特征)

(表1. 在私有测试集上的首位命中率(%))

(表2. 在公开测试集上的首位命中率(%))

       

 在人脸识别中引入属性的作用,可见图6。在私有测试集上的测试结果可见表1,Training-Set-I和Training-Set-II是我们从百万规模的RGB-D人脸数据集中抽取的出来的两个训练子集,它们都包含了88万张左右具有6万个不同身份的人脸彩色(深度)图像。与 Training-Set-I不同是,Training-Set-II 有着不均衡年龄结构和性别比例。在公开测试集上与其他方法的对比结果,可见表2。


【技术贡献】

本文为基于卷积神经网络的人脸识别方法提出了一种属性感知的损失函数,并且构造了一个百万规模的RGB-D人脸数据集。通过联合使用Softmax损失函数和属性感知损失函数,我们可以在该数据集上训练出具有很高性能的人脸识别模型。实验表明,本文方法既优于只使用 RGB 数据的人脸识别方法,也要优于不考虑其他属性的RGB-D人脸识别方法。


【论文发表】

该项研究工作已被人工智能与机器学习领域顶级期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI) 收录。《IEEE Transactions on Pattern Analysis and Machine Intelligence》是人工智能、模式识别、图像处理、计算机视觉领域的顶尖国际期刊之一,2018-2019年度影响因子为9.455,属于JCR TOP期刊,是计算机科学与人工智能领域的5个一区刊物之一,堪称人工智能领域的“名人堂”。该杂志覆盖所有计算机视觉、图像理解、模式分析与识别等传统领域,以及部分机器智能领域,尤其强调模式分析的机器学习的前沿成果。


【论文原文】 

Luo Jiang, Juyong Zhang, Bailin Deng. Robust RGB-D Face Recognition Using Attribute-Aware Loss. Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019.


【论文主页】

http://staff.ustc.edu.cn/~juyong/publications.html


学术交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、算法竞赛、图像检测分割、人脸人体、医学影像、综合等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

推荐阅读

CVPR2019 | Decoders 对于语义分割的重要性
CVPR2019 | R-MVSNet: 一个高精度高效率的三维重建网络
CVPR2019 | SiamMask:视频跟踪最高精度
CVPR 2019 | 用异构卷积训练深度CNN:提升效率而不损准确度
CVPR 2019 | 人大 ML 研究组提出新的视频测谎算法
CVPR2019 | 医学影像:MIT 利用学习图像变换进行数据增强
CVPR 2019 | GeoNet:基于测地距离的点云分析深度网络
CVPR2019 | 中科大&微软开源:姿态估计新模型HRNet
CVPR 2019 | 京东提出 ScratchDet:随机初始化训练SSD目标检测器
CVPR 2019 | 微软亚研院提出用于语义分割的结构化知识蒸馏
CVPR2019 | 6D目标姿态估计,李飞飞等提出DenseFusion
CVPR 2019 | PointConv:在点云上高效实现卷积操作
CVPR 2019 | 图像压缩重建也能抵御对抗样本
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
综述 | CVPR2019目标检测方法进展
CVPR 2019 | 端到端的投影光度补偿
目标检测技术二十年综述

关注计算机视觉life,加星标,获取最新AI干货~


最新AI干货,我在看  

登录查看更多
11

相关内容

【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
28+阅读 · 2020年5月19日
【浙江大学】人脸反欺诈活体检测综述
专知会员服务
31+阅读 · 2020年4月15日
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
26+阅读 · 2020年4月1日
八篇 ICCV 2019 【图神经网络(GNN)+CV】相关论文
专知会员服务
29+阅读 · 2020年1月10日
五篇 ICCV 2019 的【图神经网络(GNN)+CV】相关论文
专知会员服务
14+阅读 · 2020年1月9日
CVPR2019 | ArcFace:构建高效的人脸识别系统(已开源)
极市平台
11+阅读 · 2019年5月28日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
判别特征的学习方法用于人脸识别(文末源码)
计算机视觉战队
7+阅读 · 2019年3月28日
读者来稿 | 有效遮挡检测的鲁棒人脸识别
计算机视觉战队
19+阅读 · 2019年3月28日
AAAI2019录用论文选读
人工智能前沿讲习班
22+阅读 · 2018年11月21日
生成对抗网络研究人脸识别领域获进展
中科院之声
8+阅读 · 2018年9月24日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
Arxiv
10+阅读 · 2019年1月24日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
4+阅读 · 2018年1月19日
VIP会员
相关VIP内容
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
28+阅读 · 2020年5月19日
【浙江大学】人脸反欺诈活体检测综述
专知会员服务
31+阅读 · 2020年4月15日
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
26+阅读 · 2020年4月1日
八篇 ICCV 2019 【图神经网络(GNN)+CV】相关论文
专知会员服务
29+阅读 · 2020年1月10日
五篇 ICCV 2019 的【图神经网络(GNN)+CV】相关论文
专知会员服务
14+阅读 · 2020年1月9日
相关资讯
CVPR2019 | ArcFace:构建高效的人脸识别系统(已开源)
极市平台
11+阅读 · 2019年5月28日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
判别特征的学习方法用于人脸识别(文末源码)
计算机视觉战队
7+阅读 · 2019年3月28日
读者来稿 | 有效遮挡检测的鲁棒人脸识别
计算机视觉战队
19+阅读 · 2019年3月28日
AAAI2019录用论文选读
人工智能前沿讲习班
22+阅读 · 2018年11月21日
生成对抗网络研究人脸识别领域获进展
中科院之声
8+阅读 · 2018年9月24日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
Top
微信扫码咨询专知VIP会员