Few-shot image generation aims to effectively adapt a source generative model to a target domain using very few training images. Most existing approaches introduce consistency constraints-typically through instance-level or distribution-level loss functions-to directly align the distribution patterns of source and target domains within their respective latent spaces. However, these strategies often fall short: overly strict constraints can amplify the negative effects of the domain gap, leading to distorted or uninformative content, while overly relaxed constraints may fail to leverage the source domain effectively. This limitation primarily stems from the inherent discrepancy in the underlying distribution structures of the source and target domains. The scarcity of target samples further compounds this issue by hindering accurate estimation of the target domain's distribution. To overcome these limitations, we propose Equivariant Feature Rotation (EFR), a novel adaptation strategy that aligns source and target domains at two complementary levels within a self-rotated proxy feature space. Specifically, we perform adaptive rotations within a parameterized Lie Group to transform both source and target features into an equivariant proxy space, where alignment is conducted. These learnable rotation matrices serve to bridge the domain gap by preserving intra-domain structural information without distortion, while the alignment optimization facilitates effective knowledge transfer from the source to the target domain. Comprehensive experiments on a variety of commonly used datasets demonstrate that our method significantly enhances the generative performance within the targeted domain.


翻译:少样本图像生成旨在利用极少量的训练图像,将源生成模型有效地适应到目标域。现有方法大多通过引入一致性约束——通常采用实例级或分布级损失函数——来直接对齐源域和目标域在各自潜在空间中的分布模式。然而,这些策略往往效果有限:过于严格的约束会放大域间差异的负面影响,导致生成内容失真或信息匮乏;而过于宽松的约束则可能无法有效利用源域知识。这一局限主要源于源域与目标域底层分布结构固有的差异。目标样本的稀缺性进一步加剧了这一问题,阻碍了对目标域分布的准确估计。为克服这些限制,我们提出等变特征旋转(EFR),一种新颖的适应策略,通过在自旋转的代理特征空间内两个互补的层级上对齐源域和目标域来实现适应。具体而言,我们在参数化李群内执行自适应旋转,将源域和目标域特征变换到一个等变的代理空间中进行对齐。这些可学习的旋转矩阵能够在保持域内结构信息不失真的前提下弥合域间差异,而对齐优化则促进了从源域到目标域的有效知识迁移。在多种常用数据集上的综合实验表明,我们的方法显著提升了目标域内的生成性能。

0
下载
关闭预览

相关内容

【ICCV2023】保留模态结构改进多模态学习
专知会员服务
31+阅读 · 2023年8月28日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员