【优博微展2018】刘昊:基于深度神经网络的人脸关键点检测

2018 年 12 月 1 日 清华大学研究生教育


刘昊:2018年清华大学优秀博士学位论文二等奖获得者


基于深度神经网络的人脸关键点检测


Deep Neural Networks for Facial Landmark Detection


作  者:刘昊       

指导教师:周杰

培养院系:自动化系         

学       科:控制科学与工程

读博感言:学术研究永远在路上


研究背景/选题意义/研究价值

人脸关键点用于描述人脸面部形状轮廓的控制点和局部特征,因此,精准高效的人脸关键点检测技术是人脸分析的基础和前提。近年来,深度神经网络通过多层非线性结构学习高层语义特征表示,被成功应用于各类计算机视觉处理任务。基于深度模型的人脸关键点检测方法在约束条件下性能表现出色,但受头部姿态和不同表情差异以及遮挡等因素的影响,其性能在自然条件下仍不理想。


主要研究内容


对于图像人脸关键点检测,本文针对于图像人脸关键点不同部位的结构相关性,提出了一种深度共享和结构化网络的方法;对于视频人脸关键点检测,本文针对于视频人脸关键点在不同帧间的时序一致性,提出了一种双流深度网络的方法; 对于鲁棒人脸关键点检测,本文针对于人脸数据与姿态的空间相关性,提出了一种深度形状决策网络的方法。

结构化特征学习对人脸关键点的局部相关性建模表达


所提MDN方法在具有大姿态变化人脸数据上的检测效果


主要创新点


1. 提出了一种深度结构化特征学习方法,通过引入人脸各部位的结构相关性局部约束,增强了特征表示能力,进而提高了关键点检测的有效性;


2. 提出了一种基于深度双流网络的人脸关键点检测方法,通过融合视频数据中的空间表观特征和时序信息的连续性特征,设计了双信息流的深度学习框架,在视频人脸数据上效果提升显著;


3. 提出了基于强化学习框架的鲁棒人脸关键点检测算法,通过将人脸关键点检测建模为马尔科夫动态决策过程,获得了基于马尔科夫过程的收敛分布的有效策略,提升了对抗大姿态变化、剧烈表情和强遮挡方面的鲁棒性。


代表性学术发表


1. Hao Liu, Jiwen Lu, Jianjiang Feng and Jie Zhou. Two-Stream Transformer Networks for Video-based Face Alignment. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.


2. Hao Liu, Jiwen Lu, Jianjiang Feng and Jie Zhou. Learning Deep Sharable and Structural Detectors for Face Alignment. IEEE Transactions on Image Processing, 2017.


3. Hao Liu, Jiwen Lu, Jianjiang Feng and Jie Zhou. Label-Sensitive Deep Metric Learning for Facial Age Estimation. IEEE Transactions on Information Forensics and Security, 2018.


4. Hao Liu, Jiwen Lu, Jianjiang Feng and Jie Zhou. Ordinal Deep Learning for Facial Age Estimation. IEEE Transactions on Circuits and Systems for Video Technology, 2018.


作者:刘昊

供图:刘昊

编辑:清华大学研究生院 周明坤  吴佳瑛  李文


转载须经作者同意授权

登录查看更多
32

相关内容

刘昊,宁夏大学信息工程学院计算机系副主任、副教授。宁夏大学“贺兰⼭学者”。CAAI模式识别专委会委员,IEEE ICME 2020 领域主席。长期从事模式识别与计算机视觉的学术研究。主持多项国家自然科学基金面上 / 青年等项目。发表 IEEE 期刊和会议论文20 余篇,其中第一作者 IEEET-PAMI 长文 2 篇。曾获中国人工智能学会优秀博士学位论文奖、清华大学优秀博士论文奖,入选第五届中国科协青年人才托举工程项目。
专知会员服务
127+阅读 · 2020年7月10日
CVPR 2020 最佳论文与最佳学生论文!
专知会员服务
34+阅读 · 2020年6月17日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
基于视觉的三维重建关键技术研究综述
专知会员服务
152+阅读 · 2020年5月1日
CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
43+阅读 · 2020年4月17日
人脸专集4 | 遮挡、光照等因素的人脸关键点检测
计算机视觉战队
29+阅读 · 2019年4月11日
人脸专集3 | 人脸关键点检测(下)—文末源码
计算机视觉战队
19+阅读 · 2019年4月8日
人脸关键点检测综述(含论文、数据集、方法等)
人体骨骼关键点检测综述
极市平台
21+阅读 · 2018年6月29日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
Arxiv
5+阅读 · 2019年2月28日
Arxiv
4+阅读 · 2018年12月20日
VIP会员
相关资讯
Top
微信扫码咨询专知VIP会员