Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.


翻译:生成模型在三维视觉领域日益广泛地用于合成新形状,但其生成过程是否依赖于对训练形状的记忆仍不明确。理解其记忆效应有助于防止训练数据泄露并提升生成结果的多样性。本文设计了一个评估框架来量化三维生成模型中的记忆效应,并研究了不同数据与建模设计对记忆的影响。我们首先应用该框架量化了现有方法中的记忆效应。随后,通过基于潜在向量集扩散模型的对照实验,我们发现:在数据层面,记忆效应取决于数据模态,并随数据多样性和更细粒度的条件控制而增强;在建模层面,记忆效应在中等引导强度下达到峰值,并可通过延长向量集长度和简单的旋转数据增强来缓解。综合而言,我们的框架与分析提供了对三维生成模型记忆效应的实证理解,并提出了一系列在保持生成质量的同时降低记忆效应的简单而有效的策略。代码发布于 https://github.com/zlab-princeton/3d_mem。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员