This paper addresses the task of segmenting class-agnostic objects in semi-supervised setting. Although previous detection based methods achieve relatively good performance, these approaches extract the best proposal by a greedy strategy, which may lose the local patch details outside the chosen candidate. In this paper, we propose a novel spatiotemporal graph neural network (STG-Net) to reconstruct more accurate masks for video object segmentation, which captures the local contexts by utilizing all proposals. In the spatial graph, we treat object proposals of a frame as nodes and represent their correlations with an edge weight strategy for mask context aggregation. To capture temporal information from previous frames, we use a memory network to refine the mask of current frame by retrieving historic masks in a temporal graph. The joint use of both local patch details and temporal relationships allow us to better address the challenges such as object occlusion and missing. Without online learning and fine-tuning, our STG-Net achieves state-of-the-art performance on four large benchmarks (DAVIS, YouTube-VOS, SegTrack-v2, and YouTube-Objects), demonstrating the effectiveness of the proposed approach.


翻译:本文论述半监督环境下分类类不可知物体的任务。虽然先前的检测方法取得了相对良好的绩效,但这些方法通过贪婪战略提取了最佳建议,可能会在选定候选人之外失去本地补丁细节。在本文中,我们提议建立一个新颖的时空图像神经网络(STG-Net),以重建更准确的视频物体分割面罩,通过利用所有提议来捕捉当地背景。在空间图中,我们把框架的物体提议作为节点,并代表它们与面罩环境组合的边距权重战略的关联。为了从以前的框架获取时间信息,我们使用记忆网络,通过在时间图中检索历史面罩来改进当前框架的面罩。共同使用本地补丁图和时间关系,使我们能够更好地应对诸如物体封闭和缺失等挑战。不通过在线学习和微调,我们的STG-Net在四个大基准(DAVIS、YouTube-VOS、Segrack-v2和YouTube-Objects)上实现最新业绩,展示拟议方法的有效性。

3
下载
关闭预览

相关内容

专知会员服务
109+阅读 · 2020年3月12日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
89+阅读 · 2019年10月16日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
简评 | Video Action Recognition 的近期进展
极市平台
20+阅读 · 2019年4月21日
CVPR2019 | 全景分割:Attention-guided Unified Network
极市平台
9+阅读 · 2019年3月3日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【泡泡一分钟】基于视频修复的时空转换网络
泡泡机器人SLAM
5+阅读 · 2018年12月30日
计算机视觉领域顶会CVPR 2018 接受论文列表
UPSNet: A Unified Panoptic Segmentation Network
Arxiv
3+阅读 · 2019年1月12日
Arxiv
5+阅读 · 2018年3月30日
Arxiv
3+阅读 · 2018年3月5日
VIP会员
Top
微信扫码咨询专知VIP会员