【泡泡点云时空】BodyNet：3D人体形状的体素推断（ECCV2018-9）

泡泡点云时空，带你精读点云领域顶级会议文章

标题：BodyNet: Volumetric Inference of 3D Human Body Shapes

作者：Varol, Gul and Ceylan, Duygu and Russell, Bryan and Yang, Jimei and Yumer, Ersin and Laptev, Ivan and Schmid, Cordeli

来源：ECCV 2018

播音员：林明

编译：Felaim

审核：吕佳俊，郑森华

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

简介

今天介绍的文章是“BodyNet: Volumetric Inference of 3D Human Body Shapes”——BodyNet：3D人体形状的体素推断。

人体形状估计是视频编辑、动画和时尚产业的一个重要任务。然而，由于诸如人体，衣服和视角变化等因素，从自然图像预测3D人体形状是非常具有挑战性的。解决该问题的现有方法通常是在已知特定的姿态和形状的先验条件下，拟合对应的参数化人体模型。在文章中，作者提出了一种可替代的表示方法——BodyNet，一个用单张图像可以直接推断体素表达人体形状的神经网络。BodyNet是一个端到端的网络，这主要得益于三个方面：1）3D的体素损失，2）多视角重投影损失，3）2D位姿，2D身体部位分割和3D位姿的中间监督。在作者的实验中证明了，上述的三个方面都能够使得性能提高。

如图1所示，作者提出的BodyNet能够从单张图片中预测出一个三维体素的人体。可以看到每组图片左侧是输入图片，右侧是预测的人体体素结构和预测的体素部件。

图2显示的是BodyNet具体的网络结构。输入的RGB图像首先被传送到2D位姿估计和2D人体部件分割的子网络。这个网络的预测结果结合原始图像的RGB特征相结合，一起输入到一个3D位姿预测的网络。所有的子网络结合到最后一个网络来推测体素形状。在实验中，2D位姿网络、2D分割网络和3D位姿网络都是经过预训练的，然后为了得到最后体素的形状，通过使用多视角重投影的损失将几个网络联合起来进行微调。最后，作者将SMPL模型与体积预测相匹配，以便进行评估。

实验结果

下面几个图表是最终的实验结果，可以看到效果还是非常不错的！

Abstract

Human shape estimation is an important task for video editing, animation and fashion industry. Predicting 3D human body shape from natural images, however, is highly challenging due to factors such as variation in human bodies, clothing and viewpoint. Prior methods addressing this problem typically attempt to fit parametric body models with certain priors on pose and shape. In this work we argue for an alternative representation and propose BodyNet, a neural network for direct inference of volumetric body shape from a single image. BodyNet is an end-to-end trainable network that benets from (i) a volumetric 3D loss, (ii) a multi-view re-projection loss, and (iii) intermediate supervision of 2D pose, 2D body part segmentation, and 3D pose. Each of them results in performance improvement as demonstrated by our experiments. To evaluate the method, we t the SMPL model to our network output and show state-of-the-art results on the SURREAL and Unite the People datasets, outperforming recent approaches. Besides achieving state-of-the-art performance, our method also enables volumetric bodypart segmentation.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com