VALSE 论文速览第47期：PASTA-GAN：基于衣服块指引和空间自适应生成网络的非配对虚拟换装算法

2022 年 2 月 5 日 VALSE

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自中山大学等机构在非配对数据下虚拟换装方面的工作。该工作由梁小丹副教授指导，论文第一作者谢震宇同学录制。

论文题目：Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN

作者列表：谢震宇 (中山大学)，黄载裕 (中山大学)，赵富威 (中山大学)，董浩业 (虎牙AI基础技术部)，Michael Kampffmeyer (UiT The Arctic University of Norway)，梁小丹 (中山大学)

B站观看网址：

https://www.bilibili.com/video/BV18r4y1h7Q6/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

2D虚拟换装任务需要实现将某件衣服试穿到指定的模特身上。目前，大多数2D虚拟换装算法将平铺衣服图像迁移到人体图像上，这类算法的训练依赖于平铺衣服-模特图的配对数据，而这类数据在现实场景中是比较难采集到的，因此限制了算法的可拓展性。此外，也有一些工作尝试在不同模特之间实现虚拟换装，但这些算法有些需要使用同个模特在不同姿态下图片作为训练数据，有些则需要在测试阶段引入在线优化，因此这些算法也面临着训练数据难以采集或测试开销大等问题。在该工作中，我们设计了一个无需依赖配对数据、端到端的虚拟换装模型，该模型可以实现任意两个模特之间的衣服互换。具体来说，为了解决无监督训练虚拟换装网络所面临的过拟合问题，我们设计了一个块引导的衣服解耦模块，该模块根据人体关键点，将原始衣服划分为一系列标准化衣服块，以此破坏衣服的空间位置信息，同时保留衣服类别风格信息。此外，我们会根据目标人体姿态，将标准衣服块进行变形、拼接，从而得到原始衣服在目标姿态下的形状。另一方面，为了让模型生成具有丰富纹理细节的换装结果，我们设计了一个空间自适应残差模块，将变形衣服的纹理特征嵌入生成网络中，引导网络生成逼真的换装结果。通过在不同数据集上和现有不同方法进行定量和定性比较，证明了我们方法可以生成外型更准确、纹理细节更丰富的换装结果。同时，通过一系列消融实验，进一步验证了我们方法各个模块的有效性。

论文信息：

[1] Zhenyu Xie, Zaiyu Huang, Fuwei Zhao, Haoye Dong, Michael Kampffmeyer, and Xiaodan Liang. " Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN." In Proceedings of the Conference on Neural Information Processing System (NeurIPS’21), virtual, December 2021.

论文链接：

[https://proceedings.neurips.cc/paper/2021/file/151de84cca69258b17375e2f44239191-Paper.pdf]

代码链接：

[https://github.com/xiezhy6/PASTA-GAN]

视频讲者简介：

谢震宇，中山大学博士研究生，研究方向为计算机视觉，目前专注于可控、可编辑生成模型的研究，包括2D/3D虚拟换装以及3D数字人/服装的重建。