预训练已被证实能够大大提升下游任务的性能。传统方法中经常利用大规模的带图像标注分类数据集(如 ImageNet)进行模型监督预训练,近年来自监督学习方法的出现,让预训练任务不再需要昂贵的人工标签。然而,绝大多数方法都是针对图像分类进行设计和优化的。但图像级别的预测和区域级别 / 像素级别存在预测差异,因此这些预训练模型在下游的密集预测任务上的性能可能不是最佳的。

基于此,来自阿德莱德大学、同济大学、字节跳动的研究者设计了一种简单且有效的密集自监督学习方法,不需要昂贵的密集人工标签,就能在下游密集预测任务上实现出色的性能。目前该论文已被 CVPR 2021 接收。

https://www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

该研究提出的新方法 DenseCL(Dense Contrastive Learning)通过考虑局部特征之间的对应关系,直接在输入图像的两个视图之间的像素(或区域)特征上优化成对的对比(不相似)损失来实现密集自监督学习。

两种用于表征学习的对比学习范式的概念描述图。

现有的自监督框架将同一张图像的不同数据增强作为一对正样本,利用剩余图像的数据增强作为其负样本,构建正负样本对实现全局对比学习,这往往会忽略局部特征的联系性与差异性。该研究提出的方法在此基础上,将同一张图像中最为相似的两个像素(区域)特征作为一对正样本,而将余下所有的像素(区域)特征作为其负样本实现密集对比学习。

具体而言,该方法去掉了已有的自监督学习框架中的全局池化层,并将其全局映射层替换为密集映射层实现。在匹配策略的选择上,研究者发现最大相似匹配和随机相似匹配对最后的精度影响非常小。与基准方法 MoCo-v2[1] 相比,DenseCL 引入了可忽略的计算开销(仅慢了不到 1%),但在迁移至下游密集任务(如目标检测、语义分割)时,表现出了十分优异的性能。

成为VIP会员查看完整内容
28

相关内容

通过潜在空间的对比损失最大限度地提高相同数据样本的不同扩充视图之间的一致性来学习表示。对比式自监督学习技术是一类很有前途的方法,它通过学习编码来构建表征,编码使两个事物相似或不同
专知会员服务
68+阅读 · 2021年6月29日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
30+阅读 · 2021年4月9日
专知会员服务
47+阅读 · 2021年3月12日
专知会员服务
16+阅读 · 2021年3月9日
专知会员服务
26+阅读 · 2021年3月7日
【CVPR2021】细粒度多标签分类
专知
37+阅读 · 2021年3月8日
【CVPR2021】跨模态检索的概率嵌入
专知
13+阅读 · 2021年3月2日
用 SimCLR 提高自监督与半监督学习效果
谷歌开发者
5+阅读 · 2020年5月12日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
36+阅读 · 2019年7月25日
干货|多重预训练视觉模型的迁移学习
全球人工智能
4+阅读 · 2017年12月19日
Arxiv
6+阅读 · 2018年3月29日
VIP会员
相关VIP内容
专知会员服务
68+阅读 · 2021年6月29日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
30+阅读 · 2021年4月9日
专知会员服务
47+阅读 · 2021年3月12日
专知会员服务
16+阅读 · 2021年3月9日
专知会员服务
26+阅读 · 2021年3月7日
微信扫码咨询专知VIP会员