深度相机应用全面梳理：多点开花，定点爆破

   欢迎关注计算机视觉life！

导读

人脸技术

    背景虚化

    人像光效

    动画表情

    三维美颜

    活体识别

    视线校正

智能人机交互

    人体骨架提取和跟踪

    手势识别跟踪

三维重建 & 机器人

    三维空间测绘

    物体三维重建

    大尺度三维空间地图重建

    机器人自主导航

AR

----------------------------------------------------------

前面我们对深度相机的基本原理有了一定了解，本文相对全面的梳理一下深度相机的应用领域。深度相机的应用在智能人机交互、人脸技术、三维重建、机器人、AR等领域全面开花，目前商用深度相机最成熟的应用就是移动终端上基于人脸技术的多种有趣应用。

人脸技术

二维人脸技术发展了几十年虽然已经比较成熟，但是人脸关键点检测在各种大角度、多表情、复杂光照、面部遮挡等情况下，想要实现实时鲁棒的高精度检测仍然比较困难。

而高精度深度相机的出现极大的推动了人脸技术的发展，从二维直接跃升到三维。不得不说，iPhoneX的前置深度相机可谓是把三维人脸技术提升到了一个新的高度。它不受制于自然光照，即使前景和背景颜色相近也能实现完美的分割，在复杂头部姿态下的表现大大优于二维人脸技术。基于结构光的深度相机通过3万个红外散斑重建的三维人脸模型非常精细。

深度相机建立高精度三维人脸模型

有了精细的三维人脸模型，可以发展出一系列超级实用、好玩的应用。下面的应用场景有些是刚刚商用的，有些还在萌芽状态。

1

更加精细自然的背景虚化

相比于双摄的背景虚化，深度相机能够重建高精度的三维人脸模型，虚化效果层次感更强，细节更加丰富，人像更加立体自然。

2

人像光效

人像光效的功能可以模仿专业人像摄影时的打光效果，营造出让人赞叹的影棚级效果。

3

动画表情

动画表情可以将人脸表情实时转移到玩偶上，是一个非常有趣的应用，正是得益于深度相机获取的精细的 三维人脸模型，才能实现如此精细的表情捕捉。

4

三维美颜

可以不夸张的说，三维美颜是对二维美颜的降维打击。二维美颜效果一般比较夸张，丢失了人脸本身的很多特征，导致常常“认不出来自己”的尴尬。

而三维美颜更强调真实和立体，不仅能够全面继承二维美颜的效果，还可以根据三维的脸型进行定制化“微整容”，如隆鼻、丰唇、削掉高颧骨，去掉双下巴，调整五官比例等；此外还可以增加光影效果，如增加鼻子、脸颊两侧的阴影，使得人脸看起来更有立体感和真实感。

5

三维人脸活体识别

我在《一张照片就能破解vivo x20人脸解锁？普通人也能看懂的人脸解锁专业解读在这里！》中写过，三维人脸识别是真正安全的人脸识别，可以有效的避免照片/屏显图片、换脸算法、戴面具/3D人脸模型等破解方法。非常适合于活体检测。

6

人眼视线校正

很多时候我们拍美照时并没有直视镜头，回看时懊悔不已。其实这个可以通过算法进行校正。根据人脸三维模型，结合人的面部朝向，我们可以将视线的方向调整到正对摄像头的方向，产生的视觉效果更有冲击力。

当然，这只是一个典型的应用。理论上来说，我们可以任意操纵眼球的转动，基于此可以开发一些好玩（奇怪）的应用。

智能人机交互

1

人体骨架提取和跟踪

Microsoft推出的Kinect系列深度相机就是专门为体感游戏而生的。经过多年的市场教育，相信大家都比较熟悉，不多说。

体感交互背后的关键技术就是人体骨架提取和跟踪。传统基于RGB图像的骨架提取跟踪技术在有多人交叠的情况下性能下降很快，而深度相机生成的深度图可以很方便的区分不同远近的人体和背景，这非常有利于多人交叠下不同人体骨架的提取。

2

手势识别跟踪

和人体骨架提取和跟踪类似，手势识别跟踪也属于自然肢体语言。相较于RGB相机，深度相机可以更快速更准确的实现手指关键点的提取和跟踪。

基于手势识别跟踪可以开发很多实用、有趣的应用。第一个广泛的应用就是游戏娱乐：比如在射击类游戏中，你只要把手握成手枪状，食指扣动就可以“放枪”，这种从孩童时期就很熟悉的身体语言被运用到游戏中，让用户感觉自然而亲切。第二个就是在环境苛刻或比较危险的特殊行业，有极大的应用需求：比如通过手势可以非接触式的操控无尘车间机器或者危险区域工作的设备，可以解决很多实际问题。

三维重建 & 机器人

1

三维空间测绘

深度相机本身就可以直接测距，下图是Phab2 pro手机后置TOF深度相机在三维空间测量示意图。

2

物体三维重建

以前对人体或者物体进行三维重建需要复杂的激光扫描设备，距离消费级应用还很遥远。随着技术的发展，高精度、小型化的深度相机可以方便快速的完成扫描和三维重建工作。这可以极大的促进虚拟试衣，三维打印等技术的发展。

3

大尺度三维空间地图重建

和小尺度的物体重建不同，较大尺度的三维空间地图重建难度更高，一直都是学术研究的前沿，其中关键技术称为即时定位与地图构建(SLAM，参考文章《SLAM初识》)。SLAM是智能机器人和AR的核心技术之一。基于RGB-D深度相机的SLAM也一直是研究热点，随着深度相机性能的提升及算法的迭代，高精度实时鲁棒的SLAM技术正越来越成熟。

RGB-D SLAM 大场景三维重建结果

4

机器人自主导航

深度相机的水平视场角能够直接探测障碍物的距离，垂直视场角可以探测地面凸起或者上方障碍物，这极大提升了机器人利用视觉避障的能力。

在自身定位及地图重建导航方面，三维的视觉SLAM应用明显优于二维视觉SLAM。但三维视觉SLAM距离商用还有一段路要走，主要的原因有两个：一是深度相机的远距离测量精度还不够理想，它比激光雷达测到的平面数据在精度和稳定性都要差一些；二是RGB-D SLAM的算法和应用还需进一步发展完善，其性能效果和计算资源的消耗尚无法满足成熟商用需求。

AR

AR大规模商用离我们越来越近了。想要实现实时的、身临其境的AR体验离不开高帧率、高鲁棒的深度图。AR互动核心技术之一是实时精准的SLAM技术，基于深度相机的SLAM方案是一个比较靠谱的解决方案。

基于TOF深度相机的AR互动游戏

总结

目前深度相机在移动端的应用需求非常强烈，但是大部分的消费级深度相机仍存在：体积较大，成本较高，精度及鲁棒性不足的问题。因此适用于移动端的深度相机模组、计算机视觉算法资源比较稀缺。不过，受苹果的影响，目前整个安卓手机产业链正在快马加鞭，快速跟进适用于手机端的深度相机解决方案。

预计未来的几年，深度相机会大量出现在智能手机、智能电视、AR/VR设备、智能穿戴设备等消费电子产品中。到时就不仅仅是全面开花，而是深度相机全面爆炸的时代了。

-------------------------------------------------

本公众号后续继续推出一系列关于深度相机原理和技术应用文章，敬请关注。

相关阅读

iPhone X的原深感相机到底是个什么玩意？

深度相机原理揭秘--飞行时间（TOF）

深度相机原理揭秘--双目立体视觉

深度相机原理揭秘--结构光（iPhone X 齐刘海原理）

脑补了和库克的对话后，我发现了iPhone X深度相机选择的秘诀和方法
深度相机哪家强？附详细参数对比清单

注：原创不易，转载请注明来源，违者必究。