ARCore Depth API 来了,解决遮挡和深度的技术突破来了

2019 年 12 月 21 日 谷歌开发者

为了帮助开发者以更简单的方法和更强大工具构建增强现实体验,Google 一直没有停下 ARCore 技术更新的脚步。这次 ARCore 又有重大更新,Depth API (深度 API) 横空出世。这项新功能的推出有什么重要意义?对实际应用开发能带来怎样的新的变革呢?本文带你一起了解。


Depth API 是什么?


此前,没有深度传感器的单摄像头设备受硬件所限,很难实现良好的增强现实体验,比如虚拟物体和现实物体之间没有层次感,和其他物体在一起容易漂移等。Depth API 通过动态深度算法,让单个摄像头就具备创建深度图像的能力,而不像之前需要两个摄像头或 ToF 传感器。


深度图创建原理是:Depth API 从不同角度拍摄多个图像并在移动手机时对不同角度的图像进行比较,估算出每个像素之间的距离,通过算法感知深度,弥补了硬件上的先天不足。


△ 在这张示例深度图中,红色表示离设备近的区域,蓝色表示距离较远的区域。


Depth API 和之前 ARCore 的 HDR 光照一样,是为了带给用户更加自然、互动性体验更好的虚拟增强现实体验,更加以假乱真。


Depth API 实现的另一项重要功能是遮挡:虚拟物体能够准确地出现在现实物体的之前或者之后,数字对象与场景真正融合在一起。此前没有遮挡功能,虚拟物体容易“横空出世”,更像是现实世界中的“贴图”,让人瞬间出戏。


△ 左边没有遮挡功能的“喵星人”在空间里穿越了,而开启遮挡功能的“喵星人”则逼真地藏在了遮挡物后面。


我们将开始在 Scene Viewer 中使用遮挡功能,开发人员将可以打造更好的 AR in Search 体验,目前可用于超过 2 亿启用 ARCore 的 Android 设备。



实际应用案例:家装和设计公司 Houzz


家庭装修和设计的公司 Houzz 的应用“View in My Room 3D”中已经使用了 Depth API 。Houzz 视觉技术负责人 Sally Huang 高度评价了这项技术:“通过使用 ARCore Depth API,顾客可以直观地在现实房间中预览他们感兴趣的家具,App 里的虚拟家具直接和真家具摆在了一起。我们的用户做决定时更有信心,不用犹豫不决了。”


△Houzz 应用中使用了遮挡功能,虚拟家具逼真地和实际家具放在了一起



还有:开启更多应用可能


除了遮挡功能外,设备借助 Depth API 更好地感知现实世界的三维空间,也就有了许多其他可能性。我们的团队一直努力开拓更多应用可能,比如基于真实的物体的玩法、路径规划,表面互动等等。


Depth API 的各种应用组合在一起就有了更多玩法,比如使对象在表面和纹理之间准确地反弹和飞溅,创造新的交互式游戏机制,玩家能够躲在真实世界的物体后面等等。


△ 在这段 Demo 中,我们向虚拟的机器人扔食物


请注意,尽管 Depth API 可以不依赖于专用的相机和传感器,但设备的硬件条件越好,它能带来的体验也越好。例如,在新设备中增加深度传感器(如 ToF 传感器)将有助于创建更精细的深度图,能够提升现有功能(例如遮挡),并解锁一些高阶功能,如遮挡在运动中的物体的动态遮挡。


以上仅是 Depth API 的一部分能力的简单展示,希望这些惊鸿一瞥能带给你更多开发增强现实体验的灵感和动力。目前这项功能还在早期测试阶段,如果你有兴趣在自己的应用中尝试 Depth API ,尽情期待官方上线的消息吧。



推荐阅读:

  • Google ARCore 1.12 更新深度解析

  • Google 开发者大会上的这些 ARCore 更新,让 AR 技术更接地气





登录查看更多
2

相关内容

应用程序接口(简称 API),又称为应用编程接口,就是软件系统不同组成部分衔接的约定。
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
计算机视觉方向简介 | 室内场景的结构化重建
计算机视觉life
8+阅读 · 2018年11月13日
【机器视觉】深度解析移动机器人的几种视觉算法
产业智能官
4+阅读 · 2018年11月10日
HoloLens新应用:扫描脸部就能读出你的心跳
雷锋网
3+阅读 · 2018年3月3日
计算机视觉方向简介 | 单目微运动生成深度图
计算机视觉life
7+阅读 · 2018年1月17日
深度相机应用全面梳理:多点开花,定点爆破
计算机视觉life
6+阅读 · 2017年12月13日
Learning Implicit Fields for Generative Shape Modeling
Arxiv
10+阅读 · 2018年12月6日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Relational Deep Reinforcement Learning
Arxiv
10+阅读 · 2018年6月28日
Arxiv
6+阅读 · 2018年1月14日
VIP会员
相关VIP内容
相关资讯
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
计算机视觉方向简介 | 室内场景的结构化重建
计算机视觉life
8+阅读 · 2018年11月13日
【机器视觉】深度解析移动机器人的几种视觉算法
产业智能官
4+阅读 · 2018年11月10日
HoloLens新应用:扫描脸部就能读出你的心跳
雷锋网
3+阅读 · 2018年3月3日
计算机视觉方向简介 | 单目微运动生成深度图
计算机视觉life
7+阅读 · 2018年1月17日
深度相机应用全面梳理:多点开花,定点爆破
计算机视觉life
6+阅读 · 2017年12月13日
Top
微信扫码咨询专知VIP会员