【CVPR2023】基于多标签证据学习的开放集行为识别

现有的开放集动作识别方法主要集中在新奇度检测上，假设视频片段显示单个动作，这在现实世界中是不现实的。本文提出一种基于多标签证据学习(MULE)的开放集动作识别和新奇检测的新方法，通过解决同一场景中单个或多个参与者同时进行动作的更一般的问题，超越了之前的新动作检测方法。Beta证据神经网络基于actorcontext-object关系表示，用Beta密度估计多动作的不确定性。在目标函数中添加了证据去偏约束进行优化，以减少视频表示的静态偏差，这可能会错误地将预测和静态线索关联起来。我们开发了一种基于原始对偶平均方案更新的学习算法来优化所提出的问题。优化算法的理论分析证明了原始解序列的收敛性以及损失函数和去偏约束的界。提出了基于不确定性和信念的新奇度估计机制来检测新动作。在两个真实的视频数据集上的广泛实验表明，所提出的方法在单/多角色、单/多动作设置中取得了很好的性能。