【泡泡一分钟】基于生成对抗网络的交互式三维建模方法（3dv-33）

每天一分钟，带你读遍机器人顶级会议文章

标题：Interactive 3D Modeling with a Generative Adversarial Network

作者：Jerry Liu     Fisher Yu     Thomas Funkhouser

They are from  Princeton University

来源：3dv 2017 ( International conference on 3d vision 2017）

播音员：朱英

编译：王少博 周平

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

     

       我们提出使用生成对抗网络（GAN）来协助完成三维图像设计，这一设计只需要通过一个简单的交互界面。使用者就像在游戏“我的世界”中一样，编辑三维栅格像素点。它可以在任意时间执行SNAP命令，以使得将原本粗糙的模型转变为期望的形状，这些粗糙模型可以被编译以及执行SNAP命令直到满足期望的结果。这种方法的好处是，它可以协助初学者在仅给出特定的原始数据时能够创建三维模型的特征。我们的主要贡献是围绕3D-GAN传建一个适合的投影算子，它将任意的三维空间像素点输入到一个潜在的向量，该算子可将这些像素映射为相似的形状。实验证明我们的方法可以像期望的那样用于计算机辅助的交互式三维模型重建。

       下图是一个典型的编辑序列，用户可以在描绘三维像素点和执行SNAP命令之间来回切换，对与每一SNAP命令，系统将当前的形状投影为经由GAN学习的多样式图形并同时将这一图形同步到发生器网络。

       文中做了许多实验，以此来说明借助GAN的交互式建模工具对初学者来说十分有用。实验中采用了ShapeNet Core55数据集并对其进行了扩展。我们使用了椅子、飞机和桌子等不同种类的物体进行建模实验，结果如下图所示：

原文摘要：

 

We propose the idea of using a generative adversarial network (GAN) to assist users in designing realworld shapes with a simple interface. Users edit a voxel grid with a Minecraft-like interface. Yet they can execute a SNAP command at any time, which transforms their rough model into a desired shape that is both similar and realistic. They can edit and snap until they are satisfied with the result. The advantage of this approach is to assist novice users to create 3D models characteristic of the training data by only specifying rough edits. Our key contribution is to create a suitable projection operator around a 3D-GAN that maps an arbitrary 3D voxel input to a latent vector in the shape manifold of the generator that is both similar in shape to the input but also realistic. Experiments show our method is promising for computer-assisted interactive modeling。

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

在【泡泡机器人SLAM】公众号（paopaorobot_slam）中回复关键字“3dv-33”，即可获取本文下载链接。

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com