【算法】Autodesk提出机器学习新算法：使用「自动编码器网络」探索生成3D形状

2017 年 10 月 24 日 GAN生成式对抗网络

原文来源：https://www.autodeskresearch.com

作者：Nobuyuki Umetani

在本文中我们提出了一种新算法，可以将非结构化三角形网格转换为具有一致拓扑结构的机器学习应用程序。我们将正交深度图计算（orthogonal depth map computation）和收缩包装法（the shrink wrapping approach）结合在一起，从而在不考虑诸如反面、孔和自交点等缺陷的情况下，有效且稳健地参数化三角几何形状。转换后的网格是经过连续地、紧凑地参数化的，因此是非常适用于机器学习的。我们使用自动编码器网络来提取同一类别中的多个形状来探索和合成各种形状。除此之外，我们还引入一个直接操作界面来对合成过程进行导航。我们在用非结构化三角形网格表示的1000多个汽车形状中展示了我们的方法。

图1：从非结构化三角形网格（左），我们的方法可以有效和具有鲁棒地构造一个具有一致拓扑结构（中间）的四边形网格，它是一个被紧凑参数化的高度图（height map）（以颜色轮廓表示）。自动编码器构造一组形状的低维表示以合成新形状（右）。我们的界面使得用户在合成过程中能够通过直接操纵形状来交互地引导合成。

CCS概念

•计算方法→神经网络；形状建模

•应用计算→计算机辅助设计；

关键词

机器学习3D形状，交互式形状探索

简介

众所周知，近年来在机器学习领域取得了非凡的发展成就，从而引入了诸如分类、风格迁移和生成等各种应用，而这些应用的目标媒体就是图像和音频。不过非常遗憾的是，尽管现在互联网上有大量的3D形状可供使用，但3D形状并没有从机器学习中获得诸多益处。这主要是因为机器学习算法要求输入和输出数据具有一致的表示，例如正交排列的网格（即图像中的像素）。非结构化三角形网格是计算机图形中最受欢迎的曲面表示，但它们的拓扑结构通常是彼此互不相同的，从而阻碍了在机器学习的使用。

在本文中，我们提出了一种新的参数化技术，该方法可以有效地将给定的非结构化网格转换为使用深度信息的具有一致连通性的流形网格。我们的参数化方法对于诸如孔、间隙和倒三角形之类的缺陷是具有非常稳健的鲁棒性的。我们通过将形状表示为一个强场（hight field），从而实现了对一个3D形状的紧凑和明确的参数化，它是从一个简单的原始多边形的细分中得以提升的。我们通过对超过1000个汽车形状进行参数化从而来证明我们方法具有稳健的鲁棒性。

我们参数化的主要优点是生成准备进行机器学习的输入和输出数据（图1-中间）。从同一类别中的许多形状中，我们的自动编码器网络构成了这些形状的流形（manifold）。使用自动编码器的低维表示，我们可以在交互速率下生成和探索三维形状的变化（见图1右）。我们还提供了交互式操纵三维形状合成结果的界面，允许用户直接指定生成形状的顶点的位置。我们的贡献概括如下：

•紧凑和高效地参数化三维形状。

•自动编码器构建三维形状的流形。

•用于探索生成形状的直接操纵界面。

结论

我们引入了一个参数化方法，将深度图和吸塑包装法结合起来，强有力地构建了一个连续参数化的三维形状的机器学习。我们进一步展示了使用自动编码器构造形状流形，并提出了一个界面来直接操纵三维形状的产生。

我们的方法不适用于高度凹陷的形状，如字符的形体，因为粗糙的几何体离立方体很遥远。这不是一个根本的限制，因为我们可以将基本最粗的网格改变为非立方体（如粗四边形网格），或者将形状分割成多个参数化的凸起部分。我们也考虑使用汽车形状的多重表示来改善自动驾驶汽车的物体检测框架。

论文下载：https://www.autodeskresearch.com/sites/default/files/paper.pdf

高质量延伸阅读

☞ 【最详尽的GAN介绍】王飞跃等：生成式对抗网络 GAN 的研究进展与展望

☞ 【智能自动化学科前沿讲习班第1期】王飞跃教授：生成式对抗网络GAN的研究进展与展望

☞ 【智能自动化学科前沿讲习班第1期】王坤峰副研究员：GAN与平行视觉

☞ 【重磅】平行将成为一种常态：从SimGAN获得CVPR 2017最佳论文奖说起