华南理工TANGO项目原作解读: 文本驱动的三维物体风格化模型

根据给定输入创建 3D 内容（例如，根据文本提示、图像或 3D 形状）在计算机视觉和图形领域具有重要应用。现实中通常需要专业艺术（Technical Artist）耗费大量的时间成本去创作 3D 内容。

为了减少人力消耗，实现整个流程的自动化，华南理工等机构的研究人员提出了TANGO — 一种根据文本指导三维物体风格化的方法。这一领域目前最相关的工作是 Text2Mesh，它使用了预训练模型 CLIP 作为指导，预测三维模型表面顶点的颜色和位置偏移，从而实现风格化。然而简单地预测表面顶点颜色通常会产生不真实的渲染效果，且不规则的顶点偏移会造成很严重的自交。因此，该研究借鉴传统的基于物理的渲染管线，将整个渲染过程解耦为 SVBRDF 材质，法向贴图和灯光的预测过程，并分别用球高斯函数表达解耦的元素。这种基于物理的解耦方式使得 TANGO 可以正确产生具有真实感的渲染效果，并具有很好的鲁棒性。

对于给定的文本输入和三维模型，TANGO 可以产生精细程度较高的具有照片级真实感的细节，并且不会在三维模型表面产生自交问题。同时，得益于 TANGO对渲染方程的物理解耦，我们能够对材质进行编辑和重新打光，实现对输出结果的控制。另外，由于 TANGO 采用预测法向贴图的方式增添物体表面细节，因此对于顶点数较少的三维模型也有很好的鲁棒性。

机器之心最新一期线上分享邀请到了华南理工大学 Gorilla Lab 一年级博士生陈永炜（导师为贾奎教授），为大家解读他们提出的文本驱动三维模型风格化方法——TANGO。

分享主题：TANGO: 文本驱动的三维物体风格化模型

分享嘉宾：陈永炜，华南理工大学 Gorilla Lab 一年级博士生。师从贾奎教授，研究方向为三维视觉，多模态学习，可微渲染，扩散模型等，相关研究工作曾在 CVPR、ECCV、NeurIPS 等计算机视觉和人工智能顶级会议上发表

分享摘要：本次分享将介绍一种基于文本驱动的三维模型风格化方法——TANGO，该方法对于给定的三维模型和文本，可以自动生成更具有真实性的 SVBRDF 材质，法向贴图和灯光，并且对低质量三维模型有更好的鲁棒性。该研究已被 NeurIPS 2022 接收为 spotlight。

相关链接：

1）SOTA！模型平台项目主页链接：

https://sota.jiqizhixin.com/project/tango

2）论文链接：

https://arxiv.org/abs/2210.11277

3）项目主页：

https://cyw-3d.github.io/tango/

4）机器之心推文：

https://mp.weixin.qq.com/s/ZCD1wk9Ox_cs3bmCYtA1SA

加群看直播

直播间 ： 关注机器之心机动组视频号，北京时间 11 月 30 日 19:00 开播。

交流群： 本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「TANGO」即可加入。

如果你也有最新工作希望分享或提交你感兴趣的内容方向，随时告诉我们吧： https://jiqizhixin.mikecrm.com/fFruVd3

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。 机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。