NeurIPS 2022 | 中山大学HCP实验室:有效表示多样化衣物的3D神经表示模型

2022 年 11 月 20 日 PaperWeekly


©作者 | 机器之心编辑部

来源 | 机器之心



中山大学 HCP 实验室联合牛津大学 TVG 实验室共同发表论文《Structure-Preserving 3D Modeling with Neural Sewing Machines》,该论文已被 NeurIPS 2022 接收。该工作主要由陈曦鹏、王广润博士等人完成。

3D 衣物建模是计算机领域的一个关键且具有挑战性的任务,具体是指如何在计算机中构建一件 3D 的虚拟衣物。构建 3D 衣物具有多种实际应用,包括 3D 虚拟试衣、虚拟数字人和服装设计。最近基于学习的衣物建模方法收到越来越多的关注,然而,现有方法多针对特定类别或相对简单拓扑的衣物进行建模。

本文提出了 Neural Sewing Machine (NSM),一种新颖的保持 3D 衣物结构的学习框架 ,可以有效表示多样化形状和拓扑结构的 3D 衣物,并应用于 3D 衣物表征,3D 衣物重建和可控衣物编辑。

论文题目:
Structure-Preserving 3D Modeling with Neural Sewing Machines

论文链接:

https://arxiv.org/abs/2211.06701

收录会议:

NeurIPS 2022





背景
目前基于学习的方法要么使用固定的 3D 网格模板,将衣物表示为 SMPL 模型上的位移,或是借助人体的 UV 参数化来表示衣物。这些方法主要针对特定的衣物类别,或是拓扑结构相对简单的衣物进行建模。那么是否存在一个模型可以表达不同种类且形状各异的衣物呢?



缝纫纸样(sewing pattern)是衣物建模和生产中广泛使用的一种结构。缝纫纸样由一组 2D 面板以及面板间的缝合信息组成。例如,一条裙子的缝纫纸样有 4 个 2D 面板(panel)。每个面板对应于 3D 衣物的一部分。使用缝纫纸样来建模 3D 衣物可带来以下好处:

  • 首先,可以表达各种不同类别和形状的衣物
  • 其次,描述了 3D 衣物的内在结构
  • 最后,提供了衣物的 UV 参数化





模型
本文提出了 Neural Sewing Machine(NSM),一种保持 3D 衣物结构的学习框架,能够学习不同形状和拓扑的衣物的表示,主要由以下三个模块组成:

1)缝纫纸样编码模块能够将不同衣物类别的缝纫纸样编码到一个低维空间中。一件衣物可以分解为几个基本部分,例如,一件夹克可以由帽子、袖子和背心部位组成。因此可以将衣服拆解成几个基本的部件类别,并为每种类别计算一个 PCA 子空间。通过拼接这些类别的 PCA 系数来获得缝纫纸样的特征编码。


2)3D 衣物预测模块负责从缝纫纸样的特征编码中解码出 3D 衣物。本文引入了带有掩模的 UV 位置图(UV position maps with masks)来表示一件 3D 的衣物。具体来说,UV 位置图将衣物的 3D 坐标存储在缝纫纸样每一个面板的 UV 坐标处,而掩模图表示了缝纫纸样每一个面板的形状。其中 UV 位置图是通过一个 CNN 解码器预测得到,而预测的掩模图通过 inverse PCA 解码获得。


3)为了保持 3D 衣物的内在结构,本文在框架的训练中引入了四个损失函数: (a)3D 重建损失约束了预测的 UV 位置图和 3D 标签相同。(b)面板内结构保护损失约束了缝纫纸样与对应的 3D 衣物在局部的拉伸保持一致。(c)面板间结构保护损失将 3D 空间中两个邻接面板的边缘缝合在一起。(d)表面法线损失约束了预测的 3D 衣物应具有与 3D 标签相同的表面法线向量。





实验

实验表明了我们的框架能够表示不同的形状和拓扑结构下的 3D 衣物。同时,我们验证了基于单张图像的 3D 衣物重建任务,可以看到我们的方法有助于保持衣物的细节结构。我们还展示了可控的衣物编辑,通过在缝纫纸样上进行编辑来显著改变衣物的 3D 形状或是将衣物从一个类别变换到另一个类别。





消融实验验证了我们框架中每个组件的有效性。我们还展示了在缝纫纸样的特征编码上插值的结果。可以看到,2D 缝纫纸样和 3D 衣物的变化是一致的。最后,我们展示了方法对真实场景具备一定的泛化能力,尽管我们的框架仅在合成数据进行训练,合成数据与真实场景之间存在域差距,但结果证实了我们方法的具备一定的泛化能力。






实验室简介













中山大学人机物智能融合实验室 (HCP Lab) 由林倞教授于 2010 年创办,围绕人工智能前沿技术布局研究课题,获得中国图像图形学会科技一等奖、吴文俊自然科学奖、省级自然科学一等奖等荣誉;培养了梁小丹、王可泽等国家级青年人才。








更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编




🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·

登录查看更多
1

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
基于几何结构预训练的蛋白质表征学习
专知会员服务
14+阅读 · 2022年8月21日
NeurIPS 2021 | ConE: 针对知识图谱多跳推理的锥嵌入模型
专知会员服务
23+阅读 · 2021年12月5日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
32+阅读 · 2020年7月24日
CVPR 2020 最佳论文与最佳学生论文!
专知会员服务
34+阅读 · 2020年6月17日
AAAI 2022 | ProtGNN:自解释图神经网络络
PaperWeekly
0+阅读 · 2022年8月22日
NeurIPS 2021 | 简单且通用的多视图对比图聚类方法
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年1月24日
Arxiv
0+阅读 · 2023年1月20日
Arxiv
12+阅读 · 2021年5月3日
3D Deep Learning on Medical Images: A Review
Arxiv
12+阅读 · 2020年4月1日
Arxiv
26+阅读 · 2018年2月27日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员