我们提出了VILLA,这是已知的第一个针对视觉和语言(V+L)表征学习的大规模对抗训练。VILLA由两个训练阶段组成: (一)任务不可知的对抗性预训练; 其次(二)针对具体任务进行对抗性微调。为了避免在图像像素和文本标记上增加对抗性扰动,我们建议在每个模态的嵌入空间中进行对抗性训练。为了实现大规模训练,我们采用了“free”对抗式训练策略,并与基于KL发散的正则化相结合,提高了嵌入空间的高不变性。我们将VILLA应用到目前表现最好的V+L模型中,并在广泛的任务中达到了新的水平,包括视觉问题回答、视觉常识推理、图像-文本检索、参考表达理解、视觉隐含和NLVR2。

https://www.zhuanzhi.ai/paper/9ac766aec437a266e108f8dd71d3ab25

成为VIP会员查看完整内容
0
9

相关内容

【导读】机器学习顶会 NeurIPS 2020, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年NeurIPS 2020 共收到论文投稿 9454 篇,接收 1900 篇(其中 oral 论文 105 篇、spotlight 论文 280 篇),论文接收率为 20.1%。近期,所有paper list 放出,小编发现**对比学习(Contrastive Learning)**相关的投稿paper很多,这块研究方向这几年受到了学术界的广泛关注,并且在CV、NLP等领域也应用颇多。

为此,这期小编为大家奉上NeurIPS 2020必读的七篇对比学习相关论文——对抗自监督对比学习、局部对比学习、难样本对比学习、多标签对比预测编码、自步对比学习、有监督对比学习

NeurIPS 2020 Accepted Papers:https://neurips.cc/Conferences/2020/AcceptedPapersInitial

ICLR2020CI ICML2020CI

1. Adversarial Self-Supervised Contrastive Learning

作者: Minseon Kim, Jihoon Tack, Sung Ju Hwang

摘要: 现有的对抗性学习方法大多使用类别标签来生成导致错误预测的对抗性样本,然后使用这些样本来增强模型的训练,以提高鲁棒性。虽然最近的一些工作提出了利用未标记数据的半监督对抗性学习方法,但它们仍然需要类别标签。然而,我们真的需要类别标签来进行反向的深度神经网络的健壮训练吗?本文提出了一种新的针对未标记数据的对抗性攻击,使得该模型混淆了扰动数据样本的实例级身份。此外,我们还提出了一种自监督对比学习(Contrastive Learning)框架来对抗性地训练未标记数据的鲁棒神经网络,其目的是最大化数据样本的随机扩充与其实例对抗性扰动之间的相似度。我们在多个基准数据集上验证了我们的方法-鲁棒对比学习(RoCL),在这些数据集上,它获得了与最新的有监督对抗性学习方法相当的鲁棒准确率,并且显著地提高了对黑盒和不可见类型攻击的鲁棒性。此外,与单独使用自监督学习相比,RoCL进一步结合有监督对抗性损失进行联合微调,获得了更高的鲁棒精度。值得注意的是,RoCL在稳健的迁移学习方面也显示出令人印象深刻的结果。

网址: https://arxiv.org/abs/2006.07589

2. Contrastive learning of global and local features for medical image segmentation with limited annotations

作者: Krishna Chaitanya, Ertunc Erdil, Neerav Karani, Ender Konukoglu

摘要: 有监督深度学习成功的一个关键要求是一个大的标记数据集——这是医学图像分析中难以满足的条件。自监督学习(SSL)可以在这方面提供帮助,因为它提供了一种用未标记的数据预训练神经网络的策略,然后用有限的样本标注对下游任务进行微调。对比学习是SSL的一种特殊变体,是一种学习图像级表征的强大技术。在这项工作中,我们提出了一种策略,通过利用领域内一些特点,在标注有限的半监督场景下来扩展volumetric 医疗图像分割的对比学习框架。具体地,我们提出了:(1)新颖的对比策略,它利用volumetric 医学图像之间的结构相似性(领域特定线索);(2)对比损失的局部信息来学习对每个像素分割有用的局部区域的独特表示(问题特定线索)。我们在三个磁共振成像(MRI)数据集上进行了广泛的评估。在有限的标注环境下,与其他的自监督和半监督学习技术相比,本文提出的方法有了很大的改进。当与简单的数据增强技术相结合时,该方法仅使用两个标记的MRI体积用于训练,达到基准性能的8%以内,相当于用于训练基准的训练数据ACDC的4%。

网址: https://arxiv.org/abs/2006.10511

3. LoCo: Local Contrastive Representation Learning

作者: Yuwen Xiong, Mengye Ren, Raquel Urtasun

摘要: 深度神经网络通常执行端到端反向传播来学习权重,该过程在跨层的权重更新步骤中创建同步约束(synchronization constraints),并且这种约束在生物学上是不可信的。无监督对比表示学习的最新进展指出一个问题,即学习算法是否也可以是局部的,即下层的更新不直接依赖于上层的计算。虽然Greedy InfoMax分别学习每个块的局部目标,但我们发现,在最新的无监督对比学习算法中,可能是由于贪婪的目标以及梯度隔离,会一直损害readout的准确性。在这项工作中,我们发现,通过重叠局部块堆叠在一起,我们有效地增加了解码器的深度,并允许较高的块隐式地向较低的块发送反馈。这种简单的设计首次缩小了局部学习算法和端到端对比学习算法之间的性能差距。除了标准的ImageNet实验,我们还展示了复杂下游任务的结果,例如直接使用readout功能进行对象检测和实例分割。

网址: https://arxiv.org/abs/2008.01342

4. Hard Negative Mixing for Contrastive Learning

作者: Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus

摘要: 对比学习已成为计算机视觉中自监督学习方法的重要组成部分。通过学习将同一图像的两个增强版本相互靠近地图像嵌入,并将不同图像的嵌入分开,可以训练高度可迁移的视觉表示。最近的研究表明,大量的数据增强和大量的负样本集对于学习这样的表征都是至关重要的。同时,无论是在图像层面还是在特征层面,数据混合策略都通过合成新的示例来改进监督和半监督学习,迫使网络学习更健壮的特征。在这篇文章中,我们认为对比学习的一个重要方面,即hard negatives的影响,到目前为止被忽视了。为了获得更有意义的负样本,目前最流行的对比自监督学习方法要么大幅增加batch sizes大小,要么保留非常大的内存库;然而,增加内存需求会导致性能回报递减。因此,我们从更深入地研究一个表现最好的框架开始,并展示出证据,为了促进更好、更快的学习,需要更难的难样本(harder negatives)。基于这些观察结果,并受到数据混合策略成功的激励,我们提出了特征级别的难例混合策略,该策略可以用最小的计算开销在运行中进行计算。我们在线性分类、目标检测和实例分割方面对我们的方法进行了详尽的改进,并表明使用我们的难例混合过程提高了通过最先进的自监督学习方法学习的视觉表示的质量。

代码: https://europe.naverlabs.com/mochi

网址: https://arxiv.org/abs/2010.01028

5. Multi-label Contrastive Predictive Coding

作者: Jiaming Song, Stefano Ermon

摘要: 变量互信息(mutual information, MI)估计器广泛应用于对比预测编码(CPC)等无监督表示学习方法中。MI的下界可以从多类分类问题中得到,其中critic试图区分从潜在联合分布中提取的正样本和从合适的建议分布中提取的(m−1)个负样本。使用这种方法,MI估计值超过log m,因此有效下界可能会严重低估,除非m非常大。为了克服这一局限性,我们引入了一种新的基于多标签分类问题的估计器,其中critic需要同时联合识别多个正样本。我们证明了在使用相同数量的负样本的情况下,多标签CPC能够超过log m界,同时仍然是互信息的有效下界。我们证明了所提出的方法能够带来更好的互信息估计,在无监督表示学习中获得经验上的改进,并且在13个任务中超过了最先进的10个知识提取方法。

网址:

https://arxiv.org/abs/2007.09852

6. Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

作者: Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li

摘要: 域自适应目标Re-ID旨在将学习到的知识从已标记的源域转移到未标记的目标域,以解决开放类(open-class)的重识别问题。虽然现有的基于伪标签的方法已经取得了很大的成功,但是由于域的鸿沟和聚类性能的不理想,它们并没有充分利用所有有价值的信息。为了解决这些问题,我们提出了一种新的具有混合记忆的自适应对比学习框架。混合存储器动态地生成用于学习特征表示的源域类级、目标域簇级和未聚类实例级监督信号。与传统的对比学习策略不同,该框架联合区分了源域类、目标域簇和未聚类实例。最重要的是,所提出的自适应方法逐渐产生更可靠的簇来提炼混合记忆和学习目标,这被证明是我们方法的关键。我们的方法在目标 Re-ID的多域适配任务上的性能优于现有技术,甚至在源域上不需要任何额外的标注就能提高性能。在Market1501和MSMT17数据上,我们的无监督目标Re-ID的通用版本分别比最先进的算法高出16.7%和7.9%。

代码: https://github.com/yxgeee/SpCL

网址: https://arxiv.org/abs/2006.02713

7. Supervised Contrastive Learning

作者: Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan

摘要: 交叉熵是图像分类模型监督训练中应用最广泛的损失函数。在本文中,我们提出了一种新的训练方法,该方法在不同的体系结构和数据增强的监督学习任务中始终优于交叉熵。我们修正了批量对比损失,它最近被证明在自监督环境下学习强大的表示是非常有效的。因此,我们能够比交叉熵更有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉在一起,同时推开来自不同类的样本簇。除此之外,我们还利用了大的batch sizes和标准化嵌入等关键因素,这些因素已被证明有利于自监督学习。在ResNet-50和ResNet-200上,我们的性能都比交叉熵高出1%以上,在使用 AutoAugment数据增强的方法中创造了78.8%的新技术水平。在校准和准确度方面,这一损失也显示出在标准基准上对自然损坏的稳健性有明显的好处。与交叉熵相比,我们的监督对比损失对诸如优化器或数据增强等超参数设置更稳定。

网址: https://arxiv.org/abs/2004.11362

成为VIP会员查看完整内容
0
25

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会已于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。小编发现基于对比学习(Contrastive Learning)相关的paper也不少,对比学习、自监督学习等等都是今年比较火的topic,受到了很多人的关注。

为此,这期小编继续为大家奉上ICML 2020必读的六篇对比学习(Contrastive Learning)相关论文——SimCLR、对比多视角图学习、对比强化学习、CPC、分解GAN、

ICML 2020 Accepted Paper: https://proceedings.icml.cc/book/2020

ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、A Simple Framework for Contrastive Learning of Visual Representations

作者:Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton

摘要:本文提出了SimCLR:一种简单的视觉表示的对比学习(contrastive learning)框架。我们简化了最近提出的对比自监督学习算法,并且不需要专门的体系结构或存储库。为了理解什么使对比预测任务能够学习有用的表示,我们系统地研究了我们框架的主要组成部分。我们表明:(1)数据增强部分在定义有效的预测任务中起着关键作用;(2)在表示和对比损失之间引入可学习的非线性变换大大提高了学习表示的质量;(3)与监督学习相比,对比学习受益于更大的batch和更多的训练。结合这些发现,我们能够在ImageNet上显著优于以往的自监督和半监督学习方法。在通过SimCLR学习得到的自监督表示上训练的线性分类器达到了76.5%的TOP-1准确率,比以前的技术相对提高了7%,与监督ResNet-50的性能相当。当只对1%的标签进行微调时,我们达到了85.8%的TOP-5准确率,在标签减少100倍的情况下表现优于AlexNet。

代码: https://github.com/google-research/simclr

网址: https://proceedings.icml.cc/paper/2020/hash/36452e720502e4da486d2f9f6b48a7bb

2、Contrastive Multi-View Representation Learning on Graphs

作者:Kaveh Hassani、Amir Hosein Khasahmadi

摘要:我们介绍了一种通过对比图的结构视图来学习节点级和图级表示的自监督方法。我们表明,与视觉表示学习不同的是,将视图数增加到两个以上或对比多尺度编码并不能提高性能,并且通过对比来自一阶邻居的编码和图扩散( graph diffusion)可以获得最佳性能。在线性评估协议下,我们的模型在8个节点和图分类基准上有8个取得了最新结果。例如,在CORA(节点)和Reddit-Binary(图)分类基准上,我们达到了86.8%和84.5%的准确率,比以前的技术水平分别提高了5.5%和2.4%。与监督基线相比,我们的方法在8个基准中有4个表现优于它们。

网址: https://proceedings.icml.cc/paper/2020/hash/de73998802680548b916f1947ffbad76

3、CURL: Contrastive Unsupervised Representations for Reinforcement Learning

作者:Michael Laskin、Aravind Srinivas、Pieter Abbeel

摘要:我们提出了CURL—用于强化学习的对比无监督表示法。CURL使用对比学习从原始像素中提取高层特征,并在提取的特征之上执行非策略控制。在DeepMind Control Suite和Atari Games的复杂任务上,无论是基于模型的方法还是非模型的方法,CURL的表现都优于之前基于像素的方法,在100K环境和交互步骤基准下分别显示1.9倍和1.2倍的性能提升。在DeepMind Control Suite上,CURL是第一个几乎与使用基于状态特征的方法的采样效率相当的基于图像的算法。

代码: https://www.github.com/MishaLaskin/curl

网址: https://proceedings.icml.cc/paper/2020/hash/800b03685c22049f049801f6841861a2

4、Data-Efficient Image Recognition with Contrastive Predictive Coding

作者:Olivier J. Hénaff、Aravind Srinivas、Jeffrey De Fauw、Ali Razavi、Carl Doersch、S. M. Ali Eslami、Aaron van den Oord

摘要:人类观察者从少数几个例子中可以学会识别新的图像类别,但使用人造图像做到这一点仍然是一个挑战。我们假设通过表示使数据有效识别成为可能,这些表示使自然信号的可变性更加可预测。因此,我们重新改进了对比预测编码,这是学习这种表示的一个无监督目标。此新实现产生的特征可以支持ImageNet数据集上的最新线性分类准确性。当使用深度神经网络作为非线性分类的输入时,这种表示允许我们使用比直接在图像像素上训练的分类器少2-5倍的标签。最后,这种无监督表示大大改善了对Pascal VOC数据集上的目标检测的迁移学习,超过了全监督预训练的ImageNet分类器。

网址: https://proceedings.icml.cc/paper/2020/hash/4b26dc4663ccf960c8538d595d0a1d3a

5、InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs

作者:Zinan Lin、Kiran K. Thekumparampil、Giulia Fanti1Sewoong Oh

摘要:分解(disentangled)的生成模型将潜在向量映射到目标空间,同时强制学习的潜在子集是可解释的,并且与目标分布的不同属性相关联。最近的进展主要是基于变分自编码器(VAE)的方法,而训练分离的生成式对抗网络(GANS)仍然是具有挑战性的。在这项工作中,我们证明了分离的GAN面临的主要挑战可以通过使用自监督来缓解。我们的主要贡献有两个:第一,我们设计了一种新的具有自监督功能的分离GANs训练方法。我们提出了对比正则化(contrastive regularizer)算法,它的灵感来自于一个自然的分解概念:latent traversal。这比最先进的基于VAE和GAN的方法获得了更高的分离分数。其次,我们提出了一种称为ModelCentrality的无监督模型选择方案,它使用生成的合成样本来计算模型集合的medoid(多维中值推广)。令人惊讶的是,这种无监督的ModelCentrality能够选择比使用现有的监督超参数选择技术训练的模型性能更好的模型。将对比正则化和ModelCentrality相结合,在不需要有监督超参数选择的情况下,大幅度地获得了最先进的分离分数。

网址: https://proceedings.icml.cc/paper/2020/hash/ea96efc03b9a050d895110db8c4af057

6、Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

作者:Tongzhou Wang、Phillip Isola

摘要:对比表示学习在实践中取得了显著的成功。在这项工作中,我们确定了与对比损失相关的两个关键性质:(1)正对特征的对齐方式(紧密度)和(2)超球面上(归一化)特征诱导分布的均匀性。我们证明,渐近地,对比损失优化了这些属性,并分析了它们对下游任务的积极影响。根据经验,我们引入了一个可优化的指标来量化每个属性。在标准视觉和语言数据集上的大量实验证实了指标与下游任务性能之间的强烈一致性。直接针对这两个指标进行优化可以使下游任务的表现比对比学习更好或更高。

代码: https://github.com/SsnL/align_uniform

网址:

https://proceedings.icml.cc/paper/2020/hash/4b85256c4881edb6c0776df5d81f6236

成为VIP会员查看完整内容
0
23

题目: Adversarial Training for Large Neural Language Models

简介: 泛化性和鲁棒性都是设计机器学习方法的关键要求。对抗性训练可以增强鲁棒性,但是过去的工作常常发现它不利于推广。在自然语言处理(NLP)中,预训练大型神经语言模型(例如BERT)在针对各种任务的通用化方面显示出令人印象深刻的收益,而从对抗性微调中得到了进一步的改进。但是,这些模型仍然容易受到对抗性攻击。在本文中,我们表明对抗性预训练可以同时提高泛化性和鲁棒性。我们提出了一种通用算法ALUM(大型神经语言模型的专家训练),该算法通过在嵌入空间中应用扰动来最大化训练目标,从而使对抗性损失最大化。我们将对所有阶段的对抗训练进行全面的研究,包括从头开始进行预训练,在训练有素的模型上进行连续的预训练以及针对特定任务的微调。在常规和对抗性方案中,在各种NLP任务上,ALUM都比BERT获得了可观的收益。即使对于已经在超大型文本语料库上进行过良好训练的模型(例如RoBERTa),ALUM仍可以通过连续的预训练获得可观的收益,而传统的非对抗方法则不能。可以将ALUM与特定于任务的微调进一步结合以获取更多收益。

成为VIP会员查看完整内容
0
27

许多视觉和语言的研究集中在一组小而多样的独立任务和支持的数据集上,这些数据集通常是单独研究的;然而,成功完成这些任务所需的视觉语言理解技能有很大的重叠。在这项工作中,我们通过开发一个大规模的、多任务的训练机制来研究视觉和语言任务之间的关系。我们的方法最终在12个数据集上建立了一个模型,这些数据集来自4大类任务,包括可视化问题回答、基于标题的图像检索、基础引用表达式和多模态验证。与独立训练的单任务模型相比,这意味着从大约30亿个参数减少到2.7亿个参数,同时在各个任务中平均提高性能2.05个百分点。我们使用我们的多任务框架来深入分析联合训练不同任务的效果。此外,我们还展示了从单一的多任务模型中细化特定任务模型可以带来进一步的改进,达到或超过最先进的性能。

成为VIP会员查看完整内容
0
28
小贴士
相关论文
Nazar Khan,Arbish Akram,Arif Mahmood,Sania Ashraf,Kashif Murtaza
0+阅读 · 11月18日
Zhe Gan,Yen-Chun Chen,Linjie Li,Chen Zhu,Yu Cheng,Jingjing Liu
7+阅读 · 6月11日
Simple and effective localized attribute representations for zero-shot learning
Shiqi Yang,Kai Wang,Luis Herranz,Joost van de Weijer
4+阅读 · 6月10日
Self-Supervised Learning For Few-Shot Image Classification
Da Chen,Yuefeng Chen,Yuhong Li,Feng Mao,Yuan He,Hui Xue
7+阅读 · 2019年11月14日
Ayush Tewari,Florian Bernard,Pablo Garrido,Gaurav Bharaj,Mohamed Elgharib,Hans-Peter Seidel,Patrick Pérez,Michael Zollhöfer,Christian Theobalt
5+阅读 · 2018年12月18日
Yanshuai Cao,Gavin Weiguang Ding,Kry Yik-Chau Lui,Ruitong Huang
3+阅读 · 2018年5月9日
Pierre-Luc Dallaire-Demers,Nathan Killoran
3+阅读 · 2018年4月30日
Yuxing Tang,Josiah Wang,Xiaofang Wang,Boyang Gao,Emmanuel Dellandrea,Robert Gaizauskas,Liming Chen
9+阅读 · 2018年3月13日
Xu Chen,Yongfeng Zhang,Hongteng Xu,Yixin Cao,Zheng Qin,Hongyuan Zha
7+阅读 · 2018年1月31日
Ashish Mishra,M Shiva Krishna Reddy,Anurag Mittal,Hema A Murthy
5+阅读 · 2018年1月27日
Top