CVPR 2020 | Google和Waymo提出：最新行为预测方法VectorNet

会员服务 ·

CVPR 2020 | Google和Waymo提出：最新行为预测方法VectorNet

2020 年 6 月 2 日 CVer

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文作者：黄浴

https://zhuanlan.zhihu.com/p/141665706

arXiv上面谷歌的最新论文“VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation”。

论文：https://arxiv.org/abs/2005.04259

摘要：因为道路组件的表示复杂性和交互性，包括移动目标（例如行人和车辆）和道路上下文信息（例如车道和红绿灯），动态多代理系统的行为预测是自动驾驶汽车的一个重要问题。本文介绍VectorNet，一个分层图神经网络（GNN）。首先，其用矢量表示各个道路组件的空间局部性，然后对所有组件之间的高级交互进行建模。最近的方法将移动目标和道路上下文信息的轨迹呈现为鸟瞰图像，并用卷积神经网络（ConvNets）进行编码。与其相反，该文方法以矢量形式进行操作。通过对矢量化的高清（HD）地图和代理轨迹进行操作，避免了有损渲染和计算密集型ConvNet编码的步骤。为进一步增强VectorNet在学习上下文特征方面的能力，文章提出了一项新辅助任务，根据上下文恢复随机掩盖的地图实体和代理轨迹。根据内部行为预测基准和最近发布的Argoverse预测数据集，对对VectorNet进行了评估。该方法在两个基准均达到了与渲染方法相同或更好的性能，同时节省了70％以上的模型参数，而且FLOPs减少了一个数量级。它在Argoverse数据集的表现也超越了现有技术。

如图就是以前渲染表示方法和矢量化表示方法的比较：

该方法的概貌如图所示：它是一种分层图结构，连接具有相同语义标签属于相同折线的向量并嵌入到折线特征中，而所有折线彼此完全连接以交换信息。用多层感知器（multi-layer perceptrons）实现局部图，并用自注意（self-attention）实现全局图。

如图是该图中相同折线的矢量节点计算流：

折线子图网络（polyline subgraph network）可以看作是3D PointNet的概括。但是，将排序信息嵌入矢量、基于折线分组约束子图的连通性以及将属性编码为节点特征，该方法更适合于编码结构化地图标注和代理轨迹。

为促进全局交互图更好地捕获不同轨迹和地图的折线之间交互，文中引入了辅助的图完整（graph completion）任务。图完整的目标与自然语言处理（NLP）的BERT方法密切相关，后者基于离散和顺序文本数据的双向上下文来预测丢失的标记。

几种最近方法将BERT目标概括为具有预计算视觉特征的无序图像块，该文方法与之不同，节点特征在端到端框架中联合优化。

多任务训练目标函数定义为：

其中L_traj是真实未来轨迹负高斯对数似然，L_node是预测节点特征与真实掩码节点特征之间Huber损失。将预测轨迹参数化为从最后观测位置开始的坐标偏移，根据目标车辆在最后观测位置的航向旋转坐标系。

如图是结果展示：左图是预测（prediction）可视化，右图是对道路和代理的注意（attention）可视化。

下表是一些结果比较：基线方法包括恒速运动、最近邻检索和LSTM编码器/解码器。其性能击败了目前最好的方法，Argoverse预测挑战赛的冠军（evalai.cloudcv.org/web/）。

论文下载

在CVer公众号后台回复：VectorNet，即可下载本论文

重磅！CVer-论文写作与投稿 交流群已成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满1900+人，旨在交流顶会（CVPR/ICCV/ECCV/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI等）、SCI、EI等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群