【CVPR 2022】基于代表性片段知识传播的弱监督时间动作定位，Weakly Supervised Temporal Action Localization via Representative Snippet Knowledge Propagation

标题：Weakly Supervised Temporal Action Localization via Representative Snippet Knowledge Propagation

作者：Linjiang Huang, Liang Wang, Hongsheng Li

摘要：弱监督时序行为定位的目的是仅通过视频类别定位出视频中的行为边界。现有的许多方法大多基于分类的框架，并试图生成伪标签以减小分类任务和定位任务之间的差异。然后现有的方法通常只利用有限的上下文信息来生成伪标签，导致生成的伪标签。为了解决这个问题，我们提出了一个提取出并传播代表性的片段的弱监督时序行为定位框架。我们的方法旨在挖掘每个视频中的代表性片段，以便在视频片段之间传播信息，以生成更好的伪标签。对于每个视频，我们的方法基于高斯混合模型生成其独有的代表性片段，并将代表性片段根据分数优先的原则储存在对应类别的记忆库中。在得到代表性片段后，我们的方法利用所提出的双向随机游走模块更新原始的视频特征，利用更新后的视频特征生成视频的伪标签，以在线的方式纠正主分支的预测结果。我们的方法在两个基准数据集THUMOS14和ActivityNet1.3上获得了优越的性能，在THUMOS14上的平均mAP高于最优方法1.2%。

代表性片段知识传递框架