【CVPR2022】以人为中心感知的多模态预训练

以人为中心的感知在视觉和图形学中起着至关重要的作用。但是他们的数据注释非常昂贵。因此，希望有一个通用的预训练模型，作为数据高效的下游任务转移的基础。为此，我们提出了以人为中心的多模态对比学习框架HCMoCo，该框架利用人类数据的多模态特性(如RGB、深度、2D关键点)来进行有效的表示学习。该目标面临两个主要挑战: 多模态数据的密集预训练，稀疏人类先验的有效利用。为了解决这一问题，我们设计了一种新型的密集样本内对比学习和稀疏结构感知对比学习目标，通过层次化学习具有连续和有序特征分布和结构感知语义一致性的模态不变潜空间。HCMoCo通过组合异构数据集为不同的模态提供预训练，这允许有效地使用现有的特定于任务的人类数据。在四个不同模式的下游任务上的大量实验证明了HCMoCo的有效性，特别是在数据效率设置下(DensePose Estimation和Human Parsing提高了7.16%和12%)。此外，通过探索跨模态监督和缺失模态推理，我们证明了HCMoCo的多功能性，验证了它在跨模态联想和推理方面的强大能力。

https://www.zhuanzhi.ai/paper/3e8a73c1d485a5e417b1e659558792c0

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“HMCO” 就可以获取《【CVPR2022】以人为中心感知的多模态预训练》专知下载链接

请扫码加入专知人工智能群（长按二维码），或者加专知小助手微信（zhuanzhi02），加入专知主题群（请备注主题类型：AI、NLP、CV、 KG、论文等）交流~

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资源