自监督学习已被广泛应用于从未标记图像中获取可转移的表示。特别是,最近的对比学习方法在下游图像分类任务中表现出了令人印象深刻的性能。这些对比方法主要集中在语义保留变换下的图像级上生成不变的全局表示,容易忽略局部表示的空间一致性,因此在目标检测和实例分割等本地化任务的预处理中存在一定的局限性。此外,在现有的对比方法中使用的积极裁剪视图可以最小化单个图像中语义不同区域之间的表示距离。

在本文中,我们提出了一种用于多目标和特定位置任务的空间一致表示学习算法(SCRL)。特别地,我们设计了一个新的自监督目标,试图根据几何平移和缩放操作产生随机裁剪局部区域的连贯空间表示。在使用基准数据集的各种下游定位任务上,提出的SCRL显示了相对于图像级监督前训练和最先进的自监督学习方法的显著性能改进。代码将会被发布。

https://www.zhuanzhi.ai/paper/86fc25415eef2e6e1ed9019494ce1fcf

成为VIP会员查看完整内容
61

相关内容

表示学习是通过利用训练数据来学习得到向量表示,这可以克服人工方法的局限性。 表示学习通常可分为两大类,无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器(如去噪自动编码器和稀疏自动编码器等)中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而,推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外,一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架,该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets,即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息,更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型,它们的目标是最大化类别之间的距离并最小化了类别内部的距离。
专知会员服务
19+阅读 · 2021年5月1日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
专知会员服务
20+阅读 · 2021年4月2日
专知会员服务
20+阅读 · 2021年3月9日
专知会员服务
43+阅读 · 2021年1月31日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
【ICML2020】对比多视角表示学习
专知
18+阅读 · 2020年6月28日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
37+阅读 · 2019年7月25日
基于GAN的极限图像压缩框架
论智
11+阅读 · 2018年4月15日
图上的归纳表示学习
科技创新与创业
22+阅读 · 2017年11月9日
关系推理:基于表示学习和语义要素
计算机研究与发展
18+阅读 · 2017年8月22日
Deformable Style Transfer
Arxiv
14+阅读 · 2020年3月24日
Arxiv
4+阅读 · 2019年9月5日
Arxiv
19+阅读 · 2018年5月17日
VIP会员
相关VIP内容
专知会员服务
19+阅读 · 2021年5月1日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
专知会员服务
20+阅读 · 2021年4月2日
专知会员服务
20+阅读 · 2021年3月9日
专知会员服务
43+阅读 · 2021年1月31日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
相关资讯
【ICML2020】对比多视角表示学习
专知
18+阅读 · 2020年6月28日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
37+阅读 · 2019年7月25日
基于GAN的极限图像压缩框架
论智
11+阅读 · 2018年4月15日
图上的归纳表示学习
科技创新与创业
22+阅读 · 2017年11月9日
关系推理:基于表示学习和语义要素
计算机研究与发展
18+阅读 · 2017年8月22日
微信扫码咨询专知VIP会员