CLIP视觉语言方法的学习目标未能有效地考虑到网络采集的图像描述数据集存在的多对多的噪声,导致其计算和数据效率低下。为了解决这一挑战,我们引入了一种基于跨模态对比学习的新训练框架,该框架使用渐进自蒸馏和软图像-文本对齐,以更有效地从噪声数据中学习鲁棒表示。我们的模型提炼自己的知识,为每个小批中的图像子集和标题动态地生成软对齐目标,然后用来更新其参数。在14个基准数据集上的广泛评估表明,我们的方法在多种设置下始终优于CLIP对应的方法,包括:(a)零样本分类,(b)线性探针传输,(c)图像-文本检索,而不增加计算成本。使用基于ImageNet的鲁棒性测试平台的分析表明,与经过ImageNet训练的模型和CLIP本身相比,我们的方法对自然分布转移提供了更好的有效鲁棒性。最后,使用两个数量级的数据集进行预训练表明,我们对CLIP的改进往往与训练示例的数量成比例。

https://arxiv.org/abs/2204.04588

成为VIP会员查看完整内容
17

相关内容

【CVPR2022】带噪声标签的少样本学习
专知会员服务
38+阅读 · 2022年4月15日
【CVPR2022】UniVIP:自监督视觉预训练的统一框架
专知会员服务
27+阅读 · 2022年3月16日
【AAAI2022】基于双流更新的视觉Transformer动态加速方法
专知会员服务
23+阅读 · 2021年12月11日
专知会员服务
19+阅读 · 2021年5月4日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
专知会员服务
36+阅读 · 2021年3月29日
专知会员服务
61+阅读 · 2021年3月12日
【CVPR2021】神经网络中的知识演化
专知会员服务
24+阅读 · 2021年3月11日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
【CVPR2021】跨模态检索的概率嵌入
专知会员服务
19+阅读 · 2021年3月2日
【CVPR2022】带噪声标签的少样本学习
专知
1+阅读 · 2022年4月15日
【CVPR2021】基于Transformer的视频分割领域
专知
2+阅读 · 2021年4月16日
【CVPR2021】现实世界域泛化的自适应方法
专知
5+阅读 · 2021年3月31日
CVPR2021-单目实时全身捕捉的方法
专知
0+阅读 · 2021年3月18日
【CVPR2021】空间一致性表示学习
专知
0+阅读 · 2021年3月12日
【CVPR2021】跨模态检索的概率嵌入
专知
16+阅读 · 2021年3月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
19+阅读 · 2020年12月23日
VIP会员
相关VIP内容
【CVPR2022】带噪声标签的少样本学习
专知会员服务
38+阅读 · 2022年4月15日
【CVPR2022】UniVIP:自监督视觉预训练的统一框架
专知会员服务
27+阅读 · 2022年3月16日
【AAAI2022】基于双流更新的视觉Transformer动态加速方法
专知会员服务
23+阅读 · 2021年12月11日
专知会员服务
19+阅读 · 2021年5月4日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
专知会员服务
36+阅读 · 2021年3月29日
专知会员服务
61+阅读 · 2021年3月12日
【CVPR2021】神经网络中的知识演化
专知会员服务
24+阅读 · 2021年3月11日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
【CVPR2021】跨模态检索的概率嵌入
专知会员服务
19+阅读 · 2021年3月2日
相关资讯
【CVPR2022】带噪声标签的少样本学习
专知
1+阅读 · 2022年4月15日
【CVPR2021】基于Transformer的视频分割领域
专知
2+阅读 · 2021年4月16日
【CVPR2021】现实世界域泛化的自适应方法
专知
5+阅读 · 2021年3月31日
CVPR2021-单目实时全身捕捉的方法
专知
0+阅读 · 2021年3月18日
【CVPR2021】空间一致性表示学习
专知
0+阅读 · 2021年3月12日
【CVPR2021】跨模态检索的概率嵌入
专知
16+阅读 · 2021年3月2日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员