3D single object tracking is a key issue for robotics. In this paper, we propose a transformer module called Point-Track-Transformer (PTT) for point cloud-based 3D single object tracking. PTT module contains three blocks for feature embedding, position encoding, and self-attention feature computation. Feature embedding aims to place features closer in the embedding space if they have similar semantic information. Position encoding is used to encode coordinates of point clouds into high dimension distinguishable features. Self-attention generates refined attention features by computing attention weights. Besides, we embed the PTT module into the open-source state-of-the-art method P2B to construct PTT-Net. Experiments on the KITTI dataset reveal that our PTT-Net surpasses the state-of-the-art by a noticeable margin (~10\%). Additionally, PTT-Net could achieve real-time performance (~40FPS) on NVIDIA 1080Ti GPU. Our code is open-sourced for the robotics community at https://github.com/shanjiayao/PTT.


翻译:3D 单个对象跟踪是机器人的一个关键问题。 在本文中, 我们提出一个名为 Point-Track- Transfer (PTT) 的变压器模块, 用于点云基三维单一对象跟踪。 PTT 模块包含三个功能嵌入、 位置编码和自我注意特性计算块块块。 特性嵌入的目的是在嵌入空间中定位相近的特征。 位置编码用于将点云坐标编码为高维可辨特性。 自我注意通过计算引力来产生精细化的注意功能。 此外, 我们将PTT模块嵌入到用于构建 PTT- Net的开放源端点状态的P2B 方法中。 KITTI 数据集的实验显示, 我们的 PTTT- Net 以一个显著的边距( ~ 10\\\\\) 。 此外, PTTTT- Net 可以在 NVIDIA 1080Ti GPU上实现实时性能( ~ 40FPSS) 。 我们的代码是在 https://github.com/ shanjiayao/ PTTTT.

0
下载
关闭预览

相关内容

标跟踪是指:给出目标在跟踪视频第一帧中的初始状态(如位置,尺寸),自动估计目标物体在后续帧中的状态。 目标跟踪分为单目标跟踪和多目标跟踪。 人眼可以比较轻松的在一段时间内跟住某个特定目标。但是对机器而言,这一任务并不简单,尤其是跟踪过程中会出现目标发生剧烈形变、被其他目标遮挡或出现相似物体干扰等等各种复杂的情况。过去几十年以来,目标跟踪的研究取得了长足的发展,尤其是各种机器学习算法被引入以来,目标跟踪算法呈现百花齐放的态势。2013年以来,深度学习方法开始在目标跟踪领域展露头脚,并逐渐在性能上超越传统方法,取得巨大的突破。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
专知会员服务
110+阅读 · 2020年3月12日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
Arxiv
17+阅读 · 2021年3月29日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
VIP会员
相关论文
Arxiv
17+阅读 · 2021年3月29日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Top
微信扫码咨询专知VIP会员