有人把 iPhone X 面部表情识别数据导入 Maya，结果……

文 | 田苗

来自雷锋网（leiphone-sz）的报道

iPhone X 上市后，相信不少用户已经在朋友圈晒过一轮“独家定制”的 Animoji 了。

雷锋网曾发文《苹果 Animoji 表情背后：面部识别技术如何一步步进化的？》，文中讲到，面部动作识别和追踪原本常用于电影拍摄中，如大家最熟悉的《阿凡达》，随后通过机器学习，用大量表情训练算法，来创建 3D 模型，直到今天，苹果将其融入到手机中。

那么，如果把 iPhone X 的前置摄像头看作是一个面部捕捉系统，它捕捉的面部表情数据能被用在游戏的虚拟角色中吗？雷锋网了解到，一个月前， Kite & Lightning 游戏工作室的创始人 Cory Strassburger 进行了一项大胆的尝试：将 iPhone X 捕捉到的面部表情，植入 Maya 软件中，从而为虚拟动画形象快速配上表情。

说起 Kite & Lightning，想必一些 VR 爱好者并不陌生。这家游戏工作室去年发布了一款沉浸时迷你歌剧《Senza Peso》，其中也使用到了眼部追踪技术。同时，他们还开发了一款名为《 Beblon Battle Royle》的 VR 游戏。

对于此次大胆的尝试，Cory 想看看，能否通过 iPhone X 的面部捕捉系统，可快速、便捷地为游戏中的人物加入个性化色彩。

经过一番试验后，“我目前的结论是，iPhone X 生成的面部数据精细程度令人震惊，而且数据稳定，属于正常运行。它能精准地步捕捉到非常细微的动作，甚至是很小幅度的抽动，数据完全可以使用。”

Cory 认为，这代表一种相对较便宜的面部捕捉方式。同时，手机移动端的形式更容易设置，以及对面部捕捉实现应用。看起来，苹果此前所收购的 Faceshift 公司，为此贡献了很大的功劳。尽管，Cory 也注意到，Faceshift 原本的解决方案拥有其他很酷的功能，但 iPhone X 收集的面部表情数据已经足够使用。

此外，他还公布了自己在 Maya 中是如何操作的：

• 在 Unity 中导入《 Beblon Battle Royle》的一个游戏角色，并将 ARKit 输出的面部捕捉数据混入该角色中。

• 为了将表情数据导入 Maya，增加记录功能，将面部表情数据录入一个文档，本地保存在 iPhone 上。每次开始和停止都会在手机中生成独立的文档，并且重新命名。

• 从 iPhone X 中复制这些文档，通过 USB 传输到桌面。

• 为了将面部数据导入 Maya，需要重新格式化，于是我重开发了一款桌面应用，格式化数据，将数据转化为 Maya.anim 文档。

• 把这些文档导入 Maya 和 游戏角色中，你在手机上呈现的表情，便出现在游戏角色上了。

不过，过程中在数据方面还是出现了一些小问题，他认为可能是代码的问题。同时，由于面部表情捕捉时的刷新率为每秒 60 帧，而导入到 Maya 中，刷新率为每秒 30 帧，这导致效果有些打折扣。

他认为，“iPhone X 的 TrueDepth 系统最厉害的地方在于，其表情捕捉简单，而且快捷，然后可以了里面将数据导入游戏引擎中。手机捕捉的数据完全可以使用。”

雷锋网了解到，这次尝试成功后，下一步，Cory 想把 iPhone X 放在头盔上，然后使用 Xsens 动作捕捉系统同时实现身体和面部的动作捕捉。

他说，“对下一步的尝试，我非常有信心。通过加入动作捕捉数据，游戏人物将会有很大的提升，我还会加入带有皱纹的皮肤，与对应的表情相混合，这会使动画人物更鲜活。”

  计算机视觉基础入门教程   

计算机视觉基础班，上海交通大学博士讲师团队；从算法到实战应用，涵盖CV领域主要知识点；手把手项目演示，全程提供代码；深度剖析CV研究体系，轻松实战深度学习应用领域！详情点戳阅读原文链接或长按识别下方二维码~