CVPR 2021 | 基于三元合作模式的视频阴影检测

近年来，在单个图像中进行阴影检测已引起了学界广泛的研究兴趣。但 是，关于动态视频场景中阴影检测的探索工作却很少，其面临的一个主要瓶颈 是缺乏具有高质量像素级标注的视频阴影检测数据集。在本工作中，我们收集和标注了一个新的视频阴影检测数据集（ViSha），其中包含120个视频，总计11685帧，涵盖了60个不同的阴影对象类别，也包括了不同长度、不同运动和照明条件下的视频，并且我们为所有的11685帧都提供了精确的像素级标注。据我们所知，这是用于视频阴影检测的第一个面向深度学习的数据集。此外，我们设计了一个基础模型，即基于三元合作模式的视频阴影检测模型（TVSD-Net）。TVSD-Net以协作的方式利用三元并行网络来学习视频内和视频间级别的判别表示。在网络内部，我们提出了协同注意力模块来约束同一视频中相邻帧的特征，同时引入辅助相似度损失来挖掘不同视频之间的语义信息。最后，我们在ViSha的测试集上对12种相似任务中使用的模型进行了评估（包括单个图像阴影检测器，视频对象分割和显著性检测方法）。实验表明，我们的模型在视频阴影问题上优于上述对比方法。

https://www.zhuanzhi.ai/paper/07d584d78eaecaf6a60d9ae42bcbf138

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“TCVSD” 就可以获取《CVPR 2021 | 基于三元合作模式的视频阴影检测》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源