Language guided image inpainting aims to fill in the defective regions of an image under the guidance of text while keeping non-defective regions unchanged. However, the encoding process of existing models suffers from either receptive spreading of defective regions or information loss of non-defective regions, giving rise to visually unappealing inpainting results. To address the above issues, this paper proposes N\"UWA-LIP by incorporating defect-free VQGAN (DF-VQGAN) with multi-perspective sequence to sequence (MP-S2S). In particular, DF-VQGAN introduces relative estimation to control receptive spreading and adopts symmetrical connections to protect information. MP-S2S further enhances visual information from complementary perspectives, including both low-level pixels and high-level tokens. Experiments show that DF-VQGAN performs more robustness than VQGAN. To evaluate the inpainting performance of our model, we built up 3 open-domain benchmarks, where N\"UWA-LIP is also superior to recent strong baselines.


翻译:语言指导图像绘制的目的是在文字指导下填充有缺陷的图像区域,同时保持不偏差区域不变;然而,现有模型的编码过程要么是接受有缺陷区域的传播,要么是不偏差区域的信息丢失,从而产生视觉上不吸引的油漆结果;为了解决上述问题,本文件提议N\“UWA-LIP”,将无缺陷VQGAN(DF-VQGAN)纳入多视序列(MP-S2S),从而将无缺陷VQGAN(DF-VQGAN)纳入多视谱序列(MP-S2S),从而让DF-VQGAN(DF-VQGAN)引入相对估计,以控制接受传播和采用对称连接来保护信息。MPS-2S进一步从互补的角度加强视觉信息,包括低级别的像素和高标记。实验表明,DF-VQGAN比VQAN(VQGAN)更可靠。为了评估我们模型的内窥度性性性业绩,我们建立了3个开放域基准,N\UWA-LIP(UIP)也高于最近的强基线。

0
下载
关闭预览

相关内容

图像修复(英语:Inpainting)指重建的图像和视频中丢失或损坏的部分的过程。例如在博物馆中,这项工作常由经验丰富的博物馆管理员或者艺术品修复师来进行。数码世界中,图像修复又称图像插值或视频插值,指利用复杂的算法来替换已丢失、损坏的图像数据,主要替换一些小区域和瑕疵。
机器学习入门的经验与建议
专知会员服务
61+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
25+阅读 · 2019年10月9日
ACM MM 2022 Call for Papers
CCF多媒体专委会
3+阅读 · 3月29日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
1+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Industry Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年7月28日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【SIGIR2018】五篇对抗训练文章
专知
11+阅读 · 2018年7月9日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
16+阅读 · 2017年10月21日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 4月16日
Arxiv
11+阅读 · 2019年4月9日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
VIP会员
相关VIP内容
机器学习入门的经验与建议
专知会员服务
61+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
25+阅读 · 2019年10月9日
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
3+阅读 · 3月29日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
1+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Industry Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年7月28日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【SIGIR2018】五篇对抗训练文章
专知
11+阅读 · 2018年7月9日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
16+阅读 · 2017年10月21日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员