【CVPR 2022】基于时空解耦与重耦的RGB-D动作识别 Decoupling and Recoupling Spatiotemporal Representation for RGB-D-based Motion Recognition

在行为识别领域，虽然当前的一些基于RGB-D模态的动作识别方法可以取得显著效果，但是他们都是建立在时空紧密耦合架构的基础上进行的时空信息建模。因此，这些方法主要存在以下三个问题：（1）由于时空建模过程的紧密耦合，导致在一些小数据集上面临一定的优化困难；（2）网络中包含的大量与分类无关的边缘冗余信息可能会误导分类器做出错误的决策；（3）视频多模态信息之间缺乏有效的时空交互导致后验融合机制不能充分发挥其作用。所以在本文中，我们提出了一种有效建模时空信息的解耦与重耦合机制以及一种新颖的RGB-D多模态时空信息交互策略。具体来讲，我们将多模态时空信息建模过程分成三个子任务：（1）通过解耦时空建模网络实现高质量维度无关的时间和空间表征学习。（2）重新耦合这些解耦的时空表征以重新建立强时空依赖。（3）引入一种新的跨模态时空信息交互方案和自适应后验融合机制（CAPF）来深度融合RGB-D多模态时空信息。通过充分利用以上技术，可以实现更加鲁棒的时空表征学习。

基于解耦与重耦合机制的多模态时空表征学习网络架构

作者：Benjia Zhou, Pichao Wang, Jun Wan, Yanyan Liang, Fan Wang, Du Zhang, Zhen Lei, Hao Li, Rong Jin