Multi-object tracking (MOT) is a crucial component of situational awareness in military defense applications. With the growing use of unmanned aerial systems (UASs), MOT methods for aerial surveillance is in high demand. Application of MOT in UAS presents specific challenges such as moving sensor, changing zoom levels, dynamic background, illumination changes, obscurations and small objects. In this work, we present a robust object tracking architecture aimed to accommodate for the noise in real-time situations. We propose a kinematic prediction model, called Deep Extended Kalman Filter (DeepEKF), in which a sequence-to-sequence architecture is used to predict entity trajectories in latent space. DeepEKF utilizes a learned image embedding along with an attention mechanism trained to weight the importance of areas in an image to predict future states. For the visual scoring, we experiment with different similarity measures to calculate distance based on entity appearances, including a convolutional neural network (CNN) encoder, pre-trained using Siamese networks. In initial evaluation experiments, we show that our method, combining scoring structure of the kinematic and visual models within a MHT framework, has improved performance especially in edge cases where entity motion is unpredictable, or the data presents frames with significant gaps.


翻译:多球跟踪(MOT)是军事防御应用中局势意识的一个关键组成部分。随着无人驾驶航空系统(UAS)的使用日益增多,MOT空中监视方法的需求很大。在UAS中应用MOT带来了具体的挑战,例如移动传感器、变化的缩放水平、动态背景、照明变化、隐蔽和小物体。在这项工作中,我们提出了一个强大的物体跟踪结构,旨在适应实时情况下的噪音。我们提出了一个动态预测模型,称为深扩展卡尔曼过滤器(DiefEKF),其中使用序列到序列结构来预测潜在空间的实体轨迹。DeepEKF利用一个经过训练的图像嵌入式和关注机制来权衡图像对预测未来状态的重要性。在视觉评分方面,我们试验了不同的类似措施,以根据实体外观来计算距离,包括一个革命神经网络(CNN),利用Siamese网络进行预先培训。在初步评估实验中,我们展示了一种方法,即我们的方法是将排序结构与一个特别不可预测的模型和视觉框架内的图像优势相结合。

26
下载
关闭预览

相关内容

Linux导论,Introduction to Linux,96页ppt
专知会员服务
75+阅读 · 2020年7月26日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
已删除
将门创投
4+阅读 · 2017年11月1日
BranchOut: Regularization for Online Ensemble Tracking with CNN
统计学习与视觉计算组
9+阅读 · 2017年10月7日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
6+阅读 · 2021年6月24日
Deep Learning in Video Multi-Object Tracking: A Survey
Arxiv
54+阅读 · 2019年7月31日
Learning Discriminative Model Prediction for Tracking
Arxiv
15+阅读 · 2018年2月4日
VIP会员
相关VIP内容
Linux导论,Introduction to Linux,96页ppt
专知会员服务
75+阅读 · 2020年7月26日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
已删除
将门创投
4+阅读 · 2017年11月1日
BranchOut: Regularization for Online Ensemble Tracking with CNN
统计学习与视觉计算组
9+阅读 · 2017年10月7日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员