Self-supervised learning has attracted great interest due to its tremendous potentials in learning discriminative representations in an unsupervised manner. Along this direction, contrastive learning achieves current state-of-the-art performance. Despite the acknowledged successes, existing contrastive learning methods suffer from very low learning efficiency, e.g., taking about ten times more training epochs than supervised learning for comparable recognition accuracy. In this paper, we discover two contradictory phenomena in contrastive learning that we call under-clustering and over-clustering problems, which are major obstacles to learning efficiency. Under-clustering means that the model cannot efficiently learn to discover the dissimilarity between inter-class samples when the negative sample pairs for contrastive learning are insufficient to differentiate all the actual object categories. Over-clustering implies that the model cannot efficiently learn the feature representation from excessive negative sample pairs, which include many outliers and thus enforce the model to over-cluster samples of the same actual categories into different clusters. To simultaneously overcome these two problems, we propose a novel self-supervised learning framework using a median triplet loss. Precisely, we employ a triplet loss tending to maximize the relative distance between the positive pair and negative pairs to address the under-clustering problem; and we construct the negative pair by selecting the negative sample of a median similarity score from all negative samples to avoid the over-clustering problem, guaranteed by the Bernoulli Distribution model. We extensively evaluate our proposed framework in several large-scale benchmarks (e.g., ImageNet, SYSU-30k, and COCO). The results demonstrate the superior performance of our model over the latest state-of-the-art methods by a clear margin.


翻译:自我监督的学习因其在以不受监督的方式学习歧视性表现方面的巨大潜力而引起了极大的兴趣。 沿着这一方向,对比式的学习能够取得目前最先进的业绩。 尽管取得了公认的成功,但现有的对比式学习方法却存在非常低的学习效率,例如,为了可比的承认准确性,在监督的学习中,采用比监督的学习方法要多大约十倍的训练方法,比监督的学习方法要差10倍。在本文件中,我们发现两个相互矛盾的现象,即我们称之为分类不足和过度集中的问题,这是学习效率的主要障碍。分组过低意味着模型无法有效地学会发现各类之间在进行对比式研究时的成绩不同。在对比式学习时,我们用三进制的中位标准评估,我们采用三进制的模型,我们采用三进制的模型,我们用三进制的对比式模型,我们从负式的模型到负式的中标,我们用三进制的模型,我们用进制的模型来最大限度地学习模式。 我们从负式的模型到负式的模型,我们用进进进进制式的模型, 我们用三进制的比式的模型, 进进制的模型,我们进式的模型, 进进进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的模型,我们进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的进式的

0
下载
关闭预览

相关内容

最新《自监督表示学习》报告,70页ppt
专知会员服务
84+阅读 · 2020年12月22日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【google】监督对比学习,Supervised Contrastive Learning
专知会员服务
30+阅读 · 2020年4月23日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
159+阅读 · 2020年3月18日
专知会员服务
53+阅读 · 2019年12月22日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Representation Learning on Network 网络表示学习笔记
全球人工智能
5+阅读 · 2017年9月30日
Arxiv
18+阅读 · 2021年6月10日
Arxiv
0+阅读 · 2021年6月6日
Arxiv
25+阅读 · 2021年3月20日
Arxiv
24+阅读 · 2021年1月25日
Arxiv
13+阅读 · 2020年4月12日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Representation Learning on Network 网络表示学习笔记
全球人工智能
5+阅读 · 2017年9月30日
Top
微信扫码咨询专知VIP会员