In this paper we propose an effective non-rigid object tracking method based on spatial-temporal consistent saliency detection. In contrast to most existing trackers that use a bounding box to specify the tracked target, the proposed method can extract the accurate regions of the target as tracking output, which achieves better description of the non-rigid objects while reduces background pollution to the target model. Furthermore, our model has several unique features. First, a tailored deep fully convolutional neural network (TFCN) is developed to model the local saliency prior for a given image region, which not only provides the pixel-wise outputs but also integrates the semantic information. Second, a multi-scale multi-region mechanism is proposed to generate local region saliency maps that effectively consider visual perceptions with different spatial layouts and scale variations. Subsequently, these saliency maps are fused via a weighted entropy method, resulting in a final discriminative saliency map. Finally, we present a non-rigid object tracking algorithm based on the proposed saliency detection method by utilizing a spatial-temporal consistent saliency map (STCSM) model to conduct target-background classification and using a simple fine-tuning scheme for online updating. Numerous experimental results demonstrate that the proposed algorithm achieves competitive performance in comparison with state-of-the-art methods for both saliency detection and visual tracking, especially outperforming other related trackers on the non-rigid object tracking datasets.


翻译:在本文中,我们提出了一个基于时空一致特征探测的有效非硬性物体跟踪方法。与大多数使用捆绑框来指定跟踪目标的多数现有跟踪者相比,拟议方法可以将目标的准确区域作为跟踪输出,从而更好地描述非硬性物体,同时将背景污染降低到目标模型。此外,我们的模型有几个独特的特点。首先,开发了一个量身定制的深深层完全共振神经神经网络(TFCN),以模拟特定图像区域之前的当地显著值,不仅提供等离子输出,而且整合语义信息。第二,提议建立一个多尺度多区域机制,以生成能够有效考虑不同空间布局和规模变化的视觉观点的局部目标区域显著区域图。随后,这些突出的地图通过加权增缩法结合,从而形成最后的区别突出度分布图。最后,我们根据拟议的突出度检测方法提出了一种非硬性对象跟踪算法,它不仅提供等离子输出,而且整合了语义信息。第二,提出了多尺度多区域机制机制,以生成地方特征地图,有效地考虑不同空间定位的视觉跟踪模型,并特别用于进行试验性跟踪,从而在进行多层次跟踪,从而在进行在线测试。

5
下载
关闭预览

相关内容

标跟踪是指:给出目标在跟踪视频第一帧中的初始状态(如位置,尺寸),自动估计目标物体在后续帧中的状态。 目标跟踪分为单目标跟踪和多目标跟踪。 人眼可以比较轻松的在一段时间内跟住某个特定目标。但是对机器而言,这一任务并不简单,尤其是跟踪过程中会出现目标发生剧烈形变、被其他目标遮挡或出现相似物体干扰等等各种复杂的情况。过去几十年以来,目标跟踪的研究取得了长足的发展,尤其是各种机器学习算法被引入以来,目标跟踪算法呈现百花齐放的态势。2013年以来,深度学习方法开始在目标跟踪领域展露头脚,并逐渐在性能上超越传统方法,取得巨大的突破。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
77+阅读 · 2020年6月11日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
【CVPR2020-谷歌】多目标(车辆)跟踪与检测框架 RetinaTrack
专知会员服务
43+阅读 · 2020年4月10日
专知会员服务
109+阅读 · 2020年3月12日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Learning Discriminative Model Prediction for Tracking
Nocaps: novel object captioning at scale
Arxiv
6+阅读 · 2018年12月20日
Arxiv
5+阅读 · 2018年4月30日
Arxiv
9+阅读 · 2018年3月10日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Top
微信扫码咨询专知VIP会员