元宇宙老黄带来元宇宙Omniverse重大升级，创作数十亿虚拟人有谱

---

  新智元报道  

编辑：桃子 好困

【新智元导读】看看这次老黄带来了哪些惊喜。

SIGGRAPH大会上，老黄带着自家元宇宙产品再次大放光彩。

黄仁勋介绍，英伟达在神经图形学、元宇宙、虚拟人（Avatars）推出的产品和研究，将成为引发图形学的三大革命力量。

英伟达Omniverse ACE

8月9日，英伟达正式发布了一套基于云服务的AI模型——NVIDIA Omniverse Avatar Cloud Engine（ACE）。

英伟达副总裁Rev Lebaredian表示，ACE结合了相当多复杂的人工智能技术，开发者不仅可以更容易地构建和定制栩栩如生的虚拟助手，而且这些数字人甚至还有可能通过图灵测试。

ACE建立在英伟达的统一计算框架之上，该框架提供了对丰富的软件工具和API的访问，从而利用高度逼真且可以进行互动的化身所需的各种技能。

这些工具包括用于开发语音AI应用的Riva、用于计算机视觉和智能视频分析的Metropolis、用于高性能推荐系统的Merli、用于自然语言理解的大型语言模型的NeMo Megatron，以及用于AI动画的Omniverse。

从骨架和肌肉开始构建化身

Omniverse重大升级

自 Omniverse发布以来，已经有近20万次下载量。 今天，英伟达发布了Omniverse的最新版本。

黄仁勋将Omniverse称为「一个USD平台」，「一个用于构建元宇宙应用程序的工具包」，以及「一个运行虚拟世界的计算机引擎」。

最新的版本包含了几个升级的核心技术，以及连接到更多到流行工具。

其中的升级就包括，物理加速引擎PhysX现在支持软体和粒子布模拟，大幅提升虚拟世界物理准确性。

开源的材质定义语言（MDL）能够模拟物理精确材料，并支持图形API标准，如OpenGL或Vulkan。

Omniverse还将包括英伟达研究开发的结合RTX图形和AI的神经图形功能，比如：

1. Animal Modelers 让艺术家可以迭代动物的形式与点云，然后自动生成一个3D 网格

2. GauGAN下一个进化版本：GauGAN360，可以生8K，360度全景图
3. Instant NeRF：从2D图像创建3D对象和场景

最新版本的Audio2Face，不仅可以完全根据声音创建面部动画，而且还能随着时间的推移引导化身的情绪。

也就是说，创作者可以轻松地融合关键情绪，如喜悦、惊奇、愤怒和悲伤。

在未来版本的Audio2Face中，开发者可以只用一张照片创建化身，自动应用纹理并生成可用于动画的3D网格。

利用高保真的肌肉运动模拟技术，AI可以通过观看视频学习ーー甚至是对虚拟梳理作出预期反应的栩栩如生的头发。

英伟达Vid2Vid Cameo可以利用人工智能从任何标准的2D视频中捕捉人物的面部动作和表情。

该模型基于生成性对抗网络（GAN），映射面部运动以捕捉实时运动，并将该运动传递给虚拟角色。

这一神经网络进行了18万段视频的训练，学会了识别20个关键点来模拟面部运动ーー对眼睛、嘴巴、鼻子、眉毛等部位进行编码。

如下， 它可以将爱伦 · 坡《十四行诗》的表演转移到艺术家Gary Kelley的人物肖像上。

另外，Omniverse扩展机器学习框架Modulus，允许开发人员使用AI来加速现实世界物理模拟高10万倍，让元宇宙看起来和感觉上都像物理世界。

全新神经图形SDK来了

要知道，元宇宙的一个重要支柱是神经图形学。

神经图形将人工智能和图形交织在一起，为未来适合从数据中学习的绘图管道铺平了道路。神经图形将重新定义用户如何创建、模拟和体验虚拟世界。

人工智能将帮助艺术家们创造出创造元宇宙所需的大量3D内容。例如，他们可以使用神经图形来快速捕捉物理世界中的对象和行为。

在此，英伟达在今年推出的从2D图像创建3D图像的工具Instant NeRF便可以做到这点。同时，这篇论文还获得了2022 SIGGRAPH的最佳论文奖之一。

就比如，设计师和研究人员应用神经图形和其他技术便创建了一个高岭土小精灵（Kaolin Wisp），这是一套用几行代码就可以创建神经场的工具。

除了Kaolin Wisp，英伟达还宣布了NeuralVDB，一个对行业标准OpenVDB的突破性升级，能够加速实时渲染和模拟。

NeuralVDB使用神经模型和GPU优化可以显著降低内存占有率，这样用户就可以实时地与极其庞大和复杂的数据集进行交互，并有效地共享它们。

在SIGGRAPH特别演讲中，黄仁勋还提到了，

「人工智能和计算机图形学技术的结合将推动元宇宙，即互联网的下一次演变。」

它将成为连接虚拟世界和数字孪生世界的家园，一个既可以工作又可以玩耍的地方。而且，它将充满活力，将成为最受欢迎的机器人形式之一：数字化人化身。

未来，我们将会有数十亿的虚拟化身，我们与虚拟化身的互动就像与另一个人交谈一样自由。

经过Omniverse的设计、训练和操作，他们将在数字工厂工作，玩在线游戏，并为电子零售商提供客户服务等等。

数字人类和虚拟化身需要自然语言处理、计算机视觉、复杂的面部和身体动画等等技术的加持。

为了让其能够与人类一样自然地移动和说话，可以说这套复杂的技术必须与毫秒同步。

英伟达的目标就是简化和加速Omniverse阿凡达云引擎（ACE），这是一项艰巨的工作。

参考资料：

https://blogs.nvidia.com/blog/2022/08/09/omniverse-siggraph/