We present the Colorization Transformer, a novel approach for diverse high fidelity image colorization based on self-attention. Given a grayscale image, the colorization proceeds in three steps. We first use a conditional autoregressive transformer to produce a low resolution coarse coloring of the grayscale image. Our architecture adopts conditional transformer layers to effectively condition grayscale input. Two subsequent fully parallel networks upsample the coarse colored low resolution image into a finely colored high resolution image. Sampling from the Colorization Transformer produces diverse colorings whose fidelity outperforms the previous state-of-the-art on colorising ImageNet based on FID results and based on a human evaluation in a Mechanical Turk test. Remarkably, in more than 60% of cases human evaluators prefer the highest rated among three generated colorings over the ground truth. The code and pre-trained checkpoints for Colorization Transformer are publicly available at https://github.com/google-research/google-research/tree/master/coltran


翻译:我们展示了色彩化变异器, 这是一种基于自我自留的多种高忠诚图像颜色化的新颖方法。 在灰度图像中, 色彩化分三个步骤。 我们首先使用一个有条件的自动递减变异器来生成灰度图像的低分辨率粗色彩化变异器。 我们的建筑采用有条件的变异器层来有效地调节灰度输入。 两个完全平行的网络随后将粗色低分辨率的色彩化低分辨率图像上传到一个精细色彩化的高分辨率图像中。 从色彩化变异器中取样产生多种颜色, 其真实性超过了基于FID结果和机械土耳其测试中人类评估的颜色化图像网络最新状态。 值得注意的是, 超过60%的人类评价者更喜欢在三个生成的颜色中进行高于地面真相的最高评级。 色彩变异异的代码和预先培训的检查站可在https://github.com/gole- reearch/gole- reearch/tree/mair/certran 。

9
下载
关闭预览

相关内容

专知会员服务
24+阅读 · 2021年4月2日
【ICLR2021】彩色化变换器,Colorization Transformer
专知会员服务
7+阅读 · 2021年2月9日
最新《Transformers模型》教程,64页ppt
专知会员服务
160+阅读 · 2020年11月26日
【干货书】机器学习速查手册,135页pdf
专知会员服务
85+阅读 · 2020年11月20日
【Mila】通用表示Transformer少样本图像分类
专知会员服务
27+阅读 · 2020年9月7日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
85+阅读 · 2020年7月22日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
28+阅读 · 2019年10月16日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
52+阅读 · 2019年9月16日
【ICML2019】IanGoodfellow自注意力GAN的代码与PPT
GAN生成式对抗网络
14+阅读 · 2019年6月30日
BERT/Transformer/迁移学习NLP资源大列表
专知
18+阅读 · 2019年6月9日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Arxiv
15+阅读 · 2020年12月23日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
21+阅读 · 2019年3月25日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
VIP会员
相关VIP内容
专知会员服务
24+阅读 · 2021年4月2日
【ICLR2021】彩色化变换器,Colorization Transformer
专知会员服务
7+阅读 · 2021年2月9日
最新《Transformers模型》教程,64页ppt
专知会员服务
160+阅读 · 2020年11月26日
【干货书】机器学习速查手册,135页pdf
专知会员服务
85+阅读 · 2020年11月20日
【Mila】通用表示Transformer少样本图像分类
专知会员服务
27+阅读 · 2020年9月7日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
85+阅读 · 2020年7月22日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
28+阅读 · 2019年10月16日
相关资讯
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
52+阅读 · 2019年9月16日
【ICML2019】IanGoodfellow自注意力GAN的代码与PPT
GAN生成式对抗网络
14+阅读 · 2019年6月30日
BERT/Transformer/迁移学习NLP资源大列表
专知
18+阅读 · 2019年6月9日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Top
微信扫码咨询专知VIP会员