FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

2020 年 3 月 14 日 机器之心
机器之心发布

作者:FACEGOOD

目前无论是学术界还是工业界对人脸的研究有两个方向,其一民用级,通过技术泛化为用户提供低精的产品,这些技术在工业级高精度上是无法满足需要的,主要因为算法泛化丢失了人脸的高频信息。其二工业级,从人脸生物力学仿真层面,持续提高精度,FACEGOOD 走在这个方向,在技术适当泛化的基础上,其将人脸关键点跟踪推向了极致,目前已将精度推到 10 万级,该技术可用于工业级换脸、表情捕捉等场合。



简介
 


人脸关键点检测在安防、金融、娱乐等领域具有广泛的应用,可以说已经成为非常基础的算法,我们先来回顾一下它的发展历史,Tim Cootes & Chris Taylor 在 1995 提出了一种新的方法(Active Shape Model)开创了人脸关键点对齐的先河,ASM 引入了统计模型来解决对齐问题,紧接着三年之后,他俩在此基础上发展出了 Active Appreance Model,这个方法有很重的历史地位,要知道当时人脸对齐问题是个很棘手的事,传统的 CV 算法太粗暴,难以应付人脸这种高纬特征,AAM 之后算是进入了一个正确的方向,为后来神经网络方法奠定了基础,基本思想是 ASM 并没有考虑到纹理特征,只是对 landmark 训练了一个统计模型出来,AAM 进一步优化了 ASM,在回归的过程中加入了纹理特征,这样就解决了特征的泛化匹配的问题,使得人脸对齐更加鲁棒。20 年之后,在众多研究者不断推动下 2D 人脸对齐问题已经彻底解决了,算法也已经白菜化,随便在 github 都有大量的精度不错的开源项目。
 


与此同时,在 1998 年有两位研究人员又开辟了一条新赛道,他们提出了 3D 对齐算法,将人脸对齐推向了一个全新的维度,这套方法目前已经成为现在工业界主流的算法流程,现在工业界习惯上把它叫做 3DMM,虽然并不严谨,但我们姑且沿用这样一个定义,3DMM 计算结果是在人脸上拟合并投影出一个 3D 点云,它的应用就非常丰富了,美颜、表情捕捉、通过照片生成一张人脸等等都用了类似的技术。

公式 1。

如上图所示基本思想是:一张脸可以由多个不同的人脸通过线性组合得出,换句话说,给出一张人脸,要得出 3D 模型,就是一个系数的回归问题,了解 AAM 的同学一眼就看出来这个公式就是 AAM 公式,也可以说这是 AAM 的另一种应用,其中 S 是平均脸,s 是特征向量,ai 是权重系数。Tmodel 是用来拟合人脸纹理,同样使用线性组合得出。3DMM 是一个非常初期的 idea,他的计算结果并不理想,现在来看只能算玩具级,主要是 PCA 在精度上的丢失是很严重的。
 


2008 年,一篇论文的发表将 3DMM 的精度进一步推广,公式 1 只采样了人脸在某一时刻的表情,因此在表情上没有考虑到其他情况,导致精度丢失。这篇论文增加了一个维度,因此叫「双线性模型」,在人脸基础上加上了表情因素,这样的计算结果更加可信。

公式 2。

这个双线性公式在公式 1 的思路上增加了一个系数 a,表示不同表情,b 表示不同的个体,w 是人脸数据库,到此 3DMM 在算法流程上完整了,为日后 Facewarehouse 等应用奠定了基础,后面的故事大家都知道了 Facewarehouse 推出了自己的数据库及应用思路,讲到这里我们对前面这些研究做个总结。


3DMM 缺点是很明显的,在技术泛化这条路上一路狂奔,忽略了人脸非常多的细节,尤其是高频低幅度的表情细节,在个体上体现非常明显,造成这个局面的原因有两个,基于统计的回归并不精确,是一个模糊解,3D 数据库模型的采集多数用成本低廉的设备生成,精度不高,两者加起来,3DMM 在高精应用场景可以说完全无法满足需求,更不可能达到工业级超高精度需要。


FACEGOOD 3DMM 模型
 

图示 1 BFM & SFM 模型 。

图示 2 FACEGOOD 模型。

为了更精确的计算人脸的 3D 信息,并能适用于工业级业务场景,FACEGOOD 团队采用相机阵列方式采集了 100 个不同个体的 3D 模型,每个人有 43 个不同的表情,以及他们对应的高精度皮肤材质数据,至于这些数据建立了 FACEGOOD 3DMM 模型。


目前开源的数据库主要有 BFM 跟 SFM 两个,同时还有一个 Facewarehouse 仅供学术研究使用,对比这些数据库,FACEGOOD 3DMM 主要体现在精度上,抛弃 kinect 这类民用级扫描技术,使用相机阵列的方式,可以完全重建人脸的所有肖像特征,如上图所示,图示 2 是 FACEGOOD 数据,图示 1 是 SFM 数据,后者在细节上损失很大,基本上只保留了人脸的大概特征。


FACEGOOD 超高精度流程

神经网络的优势主要在技术泛化上有很好的表现,但在高精度场合并非理想选择,为了达到高精度跟踪人脸的 3D 特征,包括脸型、五官的深度、微表情的变化等,FACEGOOD 研发人员使用传统算法实现了这一套方案,目前已经在超写实数字人上开始应用。

公式 3。
 

FACEGOOD Pose Estimation。

如上图公式 3 所示,基本思想是:同样基于人脸可由基础脸线性组合得出这样一个假设,FACEGOOD 团队研发了这样一套算法,Cm 是 FACEGOOD 3DMM 模型,第一步使用高精算法(图示 3)跟踪人脸的 2D 特征点,随后在此基础上拟合出人脸高精度 3D 模型,再通过 V(wi) 进一步优化 3D 模型,这一步的结果基本贴合到人脸。然后继续优化,在得出带有表情的基本 Eexp 之后,加上一个 detaV,使得 3D 模型完全对齐到人脸,到此就得到了一个完整的高精度的 3D 人脸,包括了在眼轮匝肌、口轮匝肌周围细微的高频的微表情信息。


最终,得出精确的 3D 人脸之后,通过肌肉仿真算法,将表情参数重定向到虚拟人物,就跑完了全流程。


参考文献:

· 微表情在戏剧表演中对艺术真实塑造的作用,曹娜,衡阳师范学校音乐系,2016

· T.F. Cootes and C.J. Taylor and D.H. Cooper and J. Graham (1995). "Active shape models - their training and application". Computer Vision and Image Understanding 

· Cootes, T. F.; Edwards, G. J.; Taylor, C. J. (1998). "Active appearance models". Computer Vision — ECCV'98. Lecture Notes in Computer Science.

· Bilinear Model for 3D Face and Facial Expression Recognition,Iordanis Mpiperis,Fellow,IEEE,2008.

· Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978.

· BRADLEY, D., HEIDRICH, W., POPA, T., AND SHEFFER, A. 2010. High resolution passive facial performance capture. ACM Trans. Graph. 29, 4 (July), 41:1–41:10.

· PIGHIN, F. H., SZELISKI, R., AND SALESIN, D. 1999. Resynthesizing Facial Animation through 3D Model-based Tracking. In Proc. 7th International Conference on Computer Vision, Kerkyra, Greece, 143–150.

· WEISE, T., BOUAZIZ, S., LI, H., AND PAULY, M. 2011. Realtime performance-based facial animation. ACM Transactions on Graphics (Proceedings SIGGRAPH 2011) 30, 4 (July).LIU, X., MAO, T., XIA, S., YU, Y., AND WANG, Z. 2008. Facial animation by optimized blendshapes from motion capture data. Computer Animation and Virtual Worlds 19, 3–4, 235–245.

·  LI, H., ADAMS, B., GUIBAS, L. J., AND PAULY, M. 2009. Robust single-view geometry and motion reconstruction. ACM Transactions on Graphics (Proceedings SIGGRAPH Asia 2009) 28, 5.

· BALTRUSAITIS, T., ROBINSON, P., AND MORENCY, L.-P. 2012. 3D constrained local model for rigid and non-rigid facial tracking. In Computer Vision and Pattern Recognition (CVPR 2012).

· CHUANG, E., AND BREGLER, C. 2002. Performance driven facial animation using blendshape interpolation. Tech. rep., Stanford University.



文为机器之心发布,转载请联系本公众号获得授权
✄------------------------------------------------
加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com
投稿或寻求报道:content @jiqizhixin.com
广告 & 商务合作:bd@jiqizhixin.com
登录查看更多
1

相关内容

【CMU】基于图神经网络的联合检测与多目标跟踪
专知会员服务
56+阅读 · 2020年6月24日
3D目标检测进展综述
专知会员服务
191+阅读 · 2020年4月24日
【浙江大学】人脸反欺诈活体检测综述
专知会员服务
31+阅读 · 2020年4月15日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
50+阅读 · 2020年2月19日
旷视研究院新出8000点人脸关键点,堪比电影级表情捕捉
人工智能前沿讲习班
19+阅读 · 2019年5月4日
人脸专集3 | 人脸关键点检测(下)—文末源码
计算机视觉战队
19+阅读 · 2019年4月8日
浅谈FRVT人脸识别测评
人工智能前沿讲习班
12+阅读 · 2018年7月9日
深扒人脸识别60年技术发展史
炼数成金订阅号
3+阅读 · 2018年6月20日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
【机器视觉】人脸检测与识别总结
产业智能官
7+阅读 · 2017年12月6日
揭秘人脸识别的十大关键技术
全球创新论坛
6+阅读 · 2017年9月6日
基础|人脸识别的十个关键技术组成及原理!
全球人工智能
5+阅读 · 2017年7月27日
Viewpoint Estimation-Insights & Model
Arxiv
3+阅读 · 2018年7月3日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
9+阅读 · 2018年3月10日
Arxiv
11+阅读 · 2018年1月18日
VIP会员
相关资讯
旷视研究院新出8000点人脸关键点,堪比电影级表情捕捉
人工智能前沿讲习班
19+阅读 · 2019年5月4日
人脸专集3 | 人脸关键点检测(下)—文末源码
计算机视觉战队
19+阅读 · 2019年4月8日
浅谈FRVT人脸识别测评
人工智能前沿讲习班
12+阅读 · 2018年7月9日
深扒人脸识别60年技术发展史
炼数成金订阅号
3+阅读 · 2018年6月20日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
【机器视觉】人脸检测与识别总结
产业智能官
7+阅读 · 2017年12月6日
揭秘人脸识别的十大关键技术
全球创新论坛
6+阅读 · 2017年9月6日
基础|人脸识别的十个关键技术组成及原理!
全球人工智能
5+阅读 · 2017年7月27日
Top
微信扫码咨询专知VIP会员