迪士尼公布新研究成果，让AR对象同环境更好交互

会员服务 ·

迪士尼公布新研究成果，让AR对象同环境更好交互

2017 年 12 月 14 日 AR酱 黑猫酱

作为一名90后，迪士尼的动画、漫画、玩具陪伴了我整个童年。然而现在的小孩子呢？

“下课了，开黑吗？我农药玩的贼6”

智能设备普及的今天，小朋友们的选择越来越多，跟智能设备上的APP相比，许多传统的娱乐方式已经无法吸引儿童们的注意。

为了做出更好玩的产品，AR技术成为了迪士尼施展魔法的手段。

孩子们对于单纯地给卡通形象上色已经没了兴趣，迪士尼就把AR和上色结合起来，透过设备屏幕能够看到上色完成的立体形象。

冷冰冰的固定在某个平面上的AR形象太过枯燥，如果能和人互动，AR体验的逼真程度将会大大提升。

今年7月，迪士尼公开的Magic Bench项目，不需要手机或者头戴显示器，坐在长椅上，就能通过面前的大屏幕看到卡通形象出现在长凳上。该系统通过RGB摄像头和深度传感器，能实现人和动画角色的互动，甚至可以通过长凳的触觉反馈系统感受到动画角色的存在。

迪士尼已经不再是一家单纯的动画公司，这些年来已经在VR/AR等前沿领域有了相当大的技术积累。

近日，迪士尼展示了在AR渲染中虚拟形象可以同真实环境实时交互的技术，并且公布了其论文。那我们就一起来看看论文都讲了些什么。

在AR中与智能角色进行交互

在论文中，迪士尼提出了一种让AR虚拟形象同真实环境交互的方法，使得虚拟形象可以了解身边的真实环境并且对环境的变化做出应答。比如虚拟小球可以顺着现实的坡度滑落，手指碰到虚拟物体时，物体被弹开。

文章将问题分为了三个实现步骤，首先对角色运动形象的建模——一个四足动物（看上去是一匹机器马）。

在生成角色运动动画过程中，运用了一种名为反向运动学的方法。

所谓反向运动学，是一种和正向运动学相对的办法。

正向运动学的原理是，通过父骨骼节点的运动推算出子骨骼的位置以及变换。比方说，挥动手臂时，手肘和手腕都会随之运动。

逆向运动学则相反，它是通过对子骨骼的位置变换反推父骨骼的变换。相比正向要复杂不少。

在论文中，首先构建角色的骨架，利用机械模拟，结合四足运动的特征，确定运动时的参数。

首先简单的对骨架的根端末端进行，如图a，然后对更多的关节（如脚腕）添加更多的参数来约束肢体的运动，并提供运动造型。

实时动作由一个动画控制器生成，控制器受速度和方向两个参数的控制，这个运动控制器只在没有扰动的平面上运动时生效，为的是模拟角色的正常运动。

而当地形出现了变化的时候，利用逆向运动学，根据角色需要面临的地形，分析角色的局部子骨骼形态，来反推整个肢体的运动表现，最终作用在当前的动画帧上，表现出角色在不同地形上的运动状态。

为了让角色更为真实，加入了角色对物理扰动的反馈，比如被推动或者击倒。

稍有研究的游戏玩家对于布娃娃系统应该不会陌生，这里对物理扰动的反应就是一个布娃娃系统的应用。通过对骨骼模板控制角色骨骼的移动，使得角色可以发生相应的移动。

接下来是三维建模。

文章中迪士尼使用Vuforia在空间中基于特征识别和定位预定义对象，对于每个真实世界的物体，生成一个相对应的三维数字虚拟对象，和真实物体形状和大小相匹配。然后使用RGB相机从各个方向扫描真实世界对象，以获得基于图像的特征和变换对的数据库。在运行时，Vuforia会搜索匹配的特征，并返回对象的id以及我们应用于场景中3D对象的转换。

最后是交互部分。