【AAAI2020-Oral】自监督时空学习的视频完形程序，Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning

简介： 论文中提出了一种新颖的自我监督方法，称为视频结束程序（VCP），以学习丰富的时空表示形式。 VCP首先通过保留视频剪辑来生成“空白”，然后通过对保留的剪辑进行时空操作来创建“选项”。最后，它用“选项”填补空白，并通过预测应用于剪辑的操作类别来学习表示形式。VCP可以充当自我监督学习中的代理任务或目标任务。Asaproxy任务将丰富的自我监督表示转换为视频剪辑操作（选项），从而增强了学习的灵活性和简化性。作为目标任务，它可以以统一且可解释的方式评估学习的表示模型。使用VCP，可以训练时空表示模型（3D-CNN），并应用这种模型进行动作识别和视频检索任务。