我们研究了无监督的视频表示学习,该学习旨在仅从未标记的视频中学习运动和外观特征,可以将其重用于下游任务,例如动作识别。然而,由于以下原因,这项任务极具挑战性:1)视频中的高度时空信息;2)缺少用于训练的标记数据。与静态图像的表示学习不同,难以构造合适的自我监督任务来很好地对运动和外观特征进行建模。最近,已经进行了几种尝试以通过视频回放速度预测来学习视频表示。但是,为视频获取精确的速度标签并非易事。更关键的是,学习的模型可能倾向于集中于运动模式,因此可能无法很好地学习外观特征。在本文中,我们观察到相对回放速度与运动模式更加一致,从而为表示学习提供了更加有效和稳定的监督。因此,我们提出了一种感知播放速度并利用两个视频片段之间的相对速度作为标签的新方法。这样,我们就能很好地感知速度并学习更好的运动功能。此外,为了确保学习外观特征,我们进一步提出了以外观为中心的任务,其中我们强制执行模型以感知两个视频剪辑之间的外观差异。我们表明,优化两个任务可以共同持续改善两个下游任务(即动作识别和视频检索)的性能。值得注意的是,对于UCF101数据集上的动作识别,在不使用标记数据进行预训练的情况下,我们达到了93.7%的准确性,这优于ImageNet监督的预训练模型。

https://arxiv.org/abs/2011.07949

成为VIP会员查看完整内容
18

相关内容

现实生活中常常会有这样的问题:缺乏足够的先验知识,因此难以人工标注类别或进行人工类别标注的成本太高。很自然地,我们希望计算机能代我们完成这些工作,或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习
专知会员服务
39+阅读 · 2021年4月5日
专知会员服务
43+阅读 · 2021年1月31日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
AAAI2021 | DTGRM:具有自监督时间关系建模的动作分割
专知会员服务
14+阅读 · 2020年12月29日
专知会员服务
106+阅读 · 2020年12月21日
专知会员服务
19+阅读 · 2020年12月11日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
37+阅读 · 2019年7月25日
通过视频着色进行自监督跟踪
谷歌开发者
3+阅读 · 2018年7月11日
让机器“一叶知秋”:弱监督视觉语义分割
深度学习大讲堂
6+阅读 · 2018年5月24日
VIP会员
相关VIP内容
专知会员服务
39+阅读 · 2021年4月5日
专知会员服务
43+阅读 · 2021年1月31日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
AAAI2021 | DTGRM:具有自监督时间关系建模的动作分割
专知会员服务
14+阅读 · 2020年12月29日
专知会员服务
106+阅读 · 2020年12月21日
专知会员服务
19+阅读 · 2020年12月11日
微信扫码咨询专知VIP会员