【NeurIPS 2021】基于潜在空间能量模型的可控和组分生成

可控生成是深度生成模型在现实应用中成功应用的关键要求之一，但它仍然是一个巨大的挑战。特别是，生成新概念组合的组合能力是目前大多数模型所无法达到的。在这项工作中，我们使用基于能量的模型(EBMs)来处理一组属性的组成生成。为了使它们可扩展到高分辨率图像生成，我们在StyleGAN等预训练生成模型的潜在空间中引入了EBM。我们提出了一种新的EBM公式来表示数据和属性的联合分布，并且我们展示了如何将它的抽样表示为求解常微分方程(ODE)。给定一个预训练的生成器，我们所需要的可控生成就是训练一个属性分类器。利用ODE进行采样是有效的，并且对超参数具有鲁棒性。因此，该方法简单、训练快、采样效率高。实验结果表明，该方法在条件采样和顺序编辑方面都优于现有的方法。在成分生成中，我们的方法优于零样本生成未见的属性组合。此外，通过将能量函数与逻辑运算符组合在一起，这项工作首次实现了这种组合，从而生成分辨率为1024x1024的逼真图像。

https://www.zhuanzhi.ai/paper/c147eb44b164e0db8544e879ceff29f0