对比学习允许我们通过对比消极样本中的正对来灵活地定义强大的损失函数。最近,该原理也被用于学习视频和文本的跨模态嵌入,但没有充分发挥其潜力。特别是之前的损失没有考虑模态内的相似性,导致嵌入效率低下,因为相同的内容被映射到嵌入空间的多个点上。在CrossCLR中,我们提出了一个对比损失来解决这个问题。此外,我们根据输入嵌入定义了高度相关的样本集,并将其从负样本中排除,以避免假负样本性问题。我们表明,这些原则持续地提高了学习嵌入的质量。通过CrossCLR学习的联合嵌入扩展了Youcook2和LSMDC数据集上的视频文本检索和Youcook2数据集上的视频字幕的技术水平。我们还通过学习其他对模式的改进的关节嵌入来证明这个概念的通用性。

https://www.zhuanzhi.ai/paper/91484725dec5fe4f3db2e6bb2ca9a448

成为VIP会员查看完整内容
15

相关内容

通过潜在空间的对比损失最大限度地提高相同数据样本的不同扩充视图之间的一致性来学习表示。对比式自监督学习技术是一类很有前途的方法,它通过学习编码来构建表征,编码使两个事物相似或不同
【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
11+阅读 · 2021年10月28日
【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
22+阅读 · 2021年10月24日
专知会员服务
12+阅读 · 2021年10月11日
专知会员服务
7+阅读 · 2021年10月4日
专知会员服务
32+阅读 · 2021年7月27日
专知会员服务
38+阅读 · 2021年6月13日
专知会员服务
38+阅读 · 2021年5月16日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
33+阅读 · 2020年7月24日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【NeurIPS2020】无限可能的联合对比学习
专知
3+阅读 · 2020年10月2日
Cross-Modal & Metric Learning 跨模态检索专题-2
AAAI 2020 | 多模态基准指导的生成式多模态自动文摘
AI科技评论
16+阅读 · 2020年1月5日
BERT模型进军视频领域,看你和面就知会做蛋糕
机器之心
10+阅读 · 2019年9月20日
Arxiv
6+阅读 · 2018年5月22日
Arxiv
3+阅读 · 2012年11月20日
VIP会员
相关VIP内容
【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
11+阅读 · 2021年10月28日
【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
22+阅读 · 2021年10月24日
专知会员服务
12+阅读 · 2021年10月11日
专知会员服务
7+阅读 · 2021年10月4日
专知会员服务
32+阅读 · 2021年7月27日
专知会员服务
38+阅读 · 2021年6月13日
专知会员服务
38+阅读 · 2021年5月16日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
33+阅读 · 2020年7月24日
微信扫码咨询专知VIP会员