我们提出了VILLA,这是已知的第一个针对视觉和语言(V+L)表征学习的大规模对抗训练。VILLA由两个训练阶段组成: (一)任务不可知的对抗性预训练; 其次(二)针对具体任务进行对抗性微调。为了避免在图像像素和文本标记上增加对抗性扰动,我们建议在每个模态的嵌入空间中进行对抗性训练。为了实现大规模训练,我们采用了“free”对抗式训练策略,并与基于KL发散的正则化相结合,提高了嵌入空间的高不变性。我们将VILLA应用到目前表现最好的V+L模型中,并在广泛的任务中达到了新的水平,包括视觉问题回答、视觉常识推理、图像-文本检索、参考表达理解、视觉隐含和NLVR2。

https://www.zhuanzhi.ai/paper/9ac766aec437a266e108f8dd71d3ab25

成为VIP会员查看完整内容
14

相关内容

【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
37+阅读 · 2020年10月20日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
63+阅读 · 2020年10月20日
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
23+阅读 · 2020年10月15日
【NeurIPS 2020】生成对抗性模仿学习的f-Divergence
专知会员服务
22+阅读 · 2020年10月9日
近期必读的六篇 ICML 2020【对比学习】相关论文
专知会员服务
52+阅读 · 2020年9月15日
【ACL2020-密歇根州立大学】语言和视觉推理的跨模态关联
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
36+阅读 · 2019年7月25日
Arxiv
4+阅读 · 2019年4月3日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
9+阅读 · 2016年10月27日
VIP会员
微信扫码咨询专知VIP会员