图像到图像转换(I2I)的目的是在保留内容表示的同时将图像从源域传输到目标域。I2I由于在图像合成、分割、风格转换、复原、姿态估计等计算机视觉和图像处理问题上的广泛应用,近年来受到越来越多的关注,并取得了巨大的进展。在本文中,我们对近年来发展起来的I2I工作进行了综述。我们将分析现有I2I工作的关键技术,并阐明社区取得的主要进展。此外,我们将阐述I2I对研究和行业社区的影响,并指出在相关领域仍存在的挑战。

https://www.zhuanzhi.ai/paper/5fe5204f7d9eeb37dc385304f9cb9f62

想象一下,如果你拍了一张自拍照,想让它更有艺术感,就像漫画家画的一样,你怎么能通过电脑自动实现呢?这类研究工作可以概括为图像到图像转换(I2I)问题。通常,I2I的目标是将输入图像x从源域A转换为目标域B,保留内在源内容并转移外部目标样式。例如,可以将自拍图像作为源域,以一些漫画作为目标域参考,将其“翻译”为想要的艺术风格图像。

从上面I2I的基本定义可以看出,将一幅图像从一个源域转换到另一个目标域可以涵盖图像处理、计算机图形学、计算机视觉等方面的许多问题。具体来说,I2I已经广泛应用于语义图像合成[3],[4],[5],[6],图像分割[7],[8],[9],风格转移[2],[10],[11],[12],[13],图像修复[14],[15],[16],[17],[18],3 d姿势估计[19],[20],图像/视频彩色化[21], [22]、[23]、[24]、[25]、[26],图像超分辨率[27]、[28],域适配[29]、[30]、[31],卡通生成[22]0、[22]、[22]、[22]、[22]4、[22]5,图像注册[22]。我们将在第五节详细分析和讨论这些相关的应用。

本文就图像到图像翻译的研究进展作一综述。据我们所知,这是第一个概述了I2I的分析、方法和相关应用的论文。具体来说,我们的论文组织如下:

首先,我们简要介绍了用于图像-图像翻译的两种最具代表性和最常用的生成模型,以及一些著名的评价指标,然后分析了这些生成模型如何学习表示和获得想要的翻译结果。

其次,我们将I2I问题划分为两大类任务,即双域I2I任务和多域I2I任务,每一组I2I任务都出现了大量的I2I工作,对其他研究领域产生了深远的影响,如图2所示。

最后但并非最不重要的是,我们按照相同的I2I方法分类,提供了一个完整的I2I应用程序分类,如表1所示。

成为VIP会员查看完整内容
33

相关内容

最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
40+阅读 · 2021年1月19日
最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
61+阅读 · 2020年10月27日
综述:基于GAN的图像翻译模型盘点
GAN生成式对抗网络
21+阅读 · 2019年9月2日
【综述】生成式对抗网络GAN最新进展综述
专知
61+阅读 · 2019年6月5日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
Arxiv
8+阅读 · 2018年5月1日
VIP会员
相关VIP内容
微信扫码咨询专知VIP会员