Fine-grained action recognition datasets exhibit environmental bias, where multiple video sequences are captured from a limited number of environments. Training a model in one environment and deploying in another results in a drop in performance due to an unavoidable domain shift. Unsupervised Domain Adaptation (UDA) approaches have frequently utilised adversarial training between the source and target domains. However, these approaches have not explored the multi-modal nature of video within each domain. In this work we exploit the correspondence of modalities as a self-supervised alignment approach for UDA in addition to adversarial alignment. We test our approach on three kitchens from our large-scale dataset, EPIC-Kitchens, using two modalities commonly employed for action recognition: RGB and Optical Flow. We show that multi-modal self-supervision alone improves the performance over source-only training by 2.4% on average. We then combine adversarial training with multi-modal self-supervision, showing that our approach outperforms other UDA methods by 3%.


翻译:精细的动作识别数据集显示出环境偏差,从有限的环境中捕捉到多个视频序列。在一个环境中培训一个模型,在另一个环境中部署,由于不可避免的域变换导致性能下降。无监督的域适应(UDA)方法经常在源和目标领域之间使用对抗性培训。然而,这些方法没有探索每个域内视频的多模式性质。在这项工作中,我们利用模式的对应方法作为UDA的自我监督的对齐方法,以及对抗性对齐。我们测试了我们从大规模数据集EPIC-Kitchens的三个厨房中采用的方法,使用两种通常用于行动识别的模式:RGB和光学流。我们显示,多模式的自我监督功能仅能提高对源性培训的性能,平均为2.4%。我们随后将对抗性培训与多模式的自我监督式结合起来,表明我们的方法比UDA的其他方法优于3%。

7
下载
关闭预览

相关内容

【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
【资源】领域自适应相关论文、代码分享
专知
30+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
简评 | Video Action Recognition 的近期进展
极市平台
20+阅读 · 2019年4月21日
行为识别(action recognition)目前的难点在哪?
极市平台
36+阅读 · 2019年2月14日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
Arxiv
5+阅读 · 2020年3月17日
Arxiv
7+阅读 · 2018年4月24日
VIP会员
相关VIP内容
【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
相关资讯
【资源】领域自适应相关论文、代码分享
专知
30+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
简评 | Video Action Recognition 的近期进展
极市平台
20+阅读 · 2019年4月21日
行为识别(action recognition)目前的难点在哪?
极市平台
36+阅读 · 2019年2月14日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
Top
微信扫码咨询专知VIP会员