ECCV2022 Oral｜ 无需前置条件的自动着色算法

↑ 点击 蓝字  关注极市平台

作者丨白乌鸦@知乎 （已授权）

来源丨https://zhuanlan.zhihu.com/p/540726540

编辑丨极市平台

极市导读

 

本文将介绍一个无需前置条件即可自动着色的算法，实现了目前最好的着色效果，性能在所有指标上打败了标准的CNN colorization方法以及Google在ICLR2021提出的方法。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

论文过段时间会挂到实验室主页上，代码很快也会开源。

实验室主页： https://ci.idm.pku.edu.cn/

模型介绍

我们造了一个自动着色的Transformer模型，以color tokens作为辅助，实现了目前最好的着色效果。这里说的color tokens来自于经典工作《colorful image colorization》（CIC）中量化ab color space的思路，我们将每个格子都当做一个token，借助position embedding得到格子之间的位置关系，从而获得color token的颜色相对关系（离得远的色差大，否则小），从而设计一系列模块来引导color token监督着色。

这里可视化一下我们的Pipeline，可以看到基本上不需要对transformer结构做太多魔改，只需要依靠我们设计的Luminance-selecting module, Color Attention和Color query等模块，依靠ab color space中颜色分布的先验知识，就可以实现好的着色性能。

我们的模型不需要任何前置条件（例如目标检测主要着色物体，或者先用inversion GAN生成个参考图像），就能生成正确颜色语义和丰富饱和度的图像。因为没有前置条件的需求，所以使用场景更广（例如不受限于检测器可以检测的目标的类别，以及GAN可以生成的图像的类别）。

实验结果

下面是我们的分数和user study，我们对比了标准的CNN colorization方法，以及Google在ICLR2021提出的第一个colorization transformer，最终性能在所有指标上都打过了他们；我们额外比较了一些热门的图像修复算法，但显然专门为colorization设计的算法性能更优；我们还比较了著名的预训练模型MAE，并把colorization当做他的一个下游任务来finetune，但他在这个任务上看起来也不是很聪明的样子。

下面展示一些修复老照片的结果

然后是一些灰白图像上色的结果

公众号后台回复“ 项目实践 ”获取50+CV项目实践机会～

△点击卡片关注极市平台，获取 最新CV干货

极市干货

最新数据集资源 ： 医学图像开源数据集汇总（二）

技术解读 ：一文打尽NMS技术的种种｜这是一篇对YOLOv7的详细解读和剖析

极视角动态： 青岛日报专访｜极视角陈振杰：创业的每一个决定都要经得起逻辑推演 ｜ 启动报名｜2022GCVC全球人工智能视觉产业与技术大会，7月22日青岛见！

# 极市原创作者激励计划 #

极市平台深耕CV开发者领域近5年，拥有一大批优质CV开发者受众，覆盖微信、知乎、B站、微博等多个渠道。通过极市平台，您的文章的观点和看法能分享至更多CV开发者，既能体现文章的价值，又能让文章在视觉圈内得到更大程度上的推广。

对于优质内容开发者，极市可推荐至国内优秀出版社合作出书，同时为开发者引荐行业大牛，组织个人分享交流会，推荐名企就业机会，打造个人品牌 IP。

投稿须知：

1. 作者保证投稿作品为自己的 原创作品。

2. 极市平台尊重原作者署名权，并支付相应稿费。文章发布后，版权仍属于原作者。

3.原作者可以将文章发在其他平台的个人账号，但需要在文章顶部标明首发于极市平台

投稿方式：

添加小编微信Fengcall（微信号：fengcall19），备注：姓名-投稿

△长按添加极市平台小编

“

点击阅读原文进入CV社区

收获更多技术干货