《边界监视多传感器融合系统中的目标跟踪》

这项工作提出了一个在欧盟项目FOLDOUT中开发的融合和跟踪系统，旨在通过融合不同的传感器信息和提出对监视区域内检测到的目标自动跟踪来促进边防工作。FOLDOUT的重点是欧盟内部和外部地区的穿透式树叶检测。融合多个传感器信号可以提高检测的有效性，特别是在森林和其他被树叶遮挡的地区。我们使用加权地图（也称为热图）来结合多传感器信息；对所产生的融合目标进行跟踪；根据对融合检测的时间关联的成本计算来创建或更新跟踪。我们比较了来自单个传感器的跟踪结果和来自融合目标的跟踪结果，这些数据是在模拟边界收集的，代表了保加利亚的实际欧盟边界。结果表明，如果根据融合后的数据而不是单个传感器的信息进行追踪，追踪效果会得到加强。

检测与跟踪方法

边防军的主要兴趣是在全球地图上对监视区域内检测到的人员进行定位和跟踪。为了实现这一目标，首先要将不同传感器系统观察到的单个人的探测结果进行融合。当检测结果相互关联并保持一致时，就可以在一个共同的地图上对单独的目标进行跟踪。

图2：指导动作（红线），扮演一个非法越境的场景：1.一个人通过步行越过边境。2.该人沿着边境小路向大路走去。3.此人停下脚步，在路上停留很长时间（可能是在等待汽车中的走私者）。4.在某一时刻离开道路，躲进树丛中。5. 在树叶中，该人再次回到路上（可能再次寻找汽车）

A.单传感器检测

RGB和热像仪中的人员检测

基于深度学习的综合物体检测被应用于相机图像上。深度学习方法已被证明优于以前的最先进的机器学习技术。深度神经网络（DNNs）模仿了大脑感知和处理信息的方式。与以前的方法相比，DNNs学习了诸如人物检测等任务所需的特征。近年来，DNN在物体检测和分类任务上表现出突出的性能[9, 10]。在这项工作中，物体检测是基于一个著名的DNN实现，即YOLO检测器[11]。

PIR传感器中的人员检测

探测器经过调整，使被动红外传感器在PIR周围7.5米的半径内触发人的存在。

B.异质传感器融合

在这项工作中，我们使用加权地图来提供传感器数据的层次（也称为HeatMaps），并以逻辑和数学的方式组合它们。它的动态是完全使用不同传感器模式的传感器检测假设的事件驱动。这些传感器假设包括位置（WGS84基准）、时间戳（Unix时间戳）和权重（例如，从传感器检测中获取的信心）。为了实现这一点，有两个组件是必不可少的：加权分布图（HeatMaps）；线性意见库。图3显示了这种方法的基本概念。

图3：融合方法的基本概念（左），作为使用两个加权分布图（热力图）的例子。应用不同的衰减函数（右）来建立加权分布图的时间动态行为。

加权分布图(热图)

加权分布图是我们数据融合方法的两个基本组成部分中的第一个。加权地图的基本思想是，保持和更新关于不同传感器探测假设的时空信息。加权地图来自于概率占用网格，但以加权的形式解释传入的数据。此外，还采用了时间上的衰减来模拟传感器数据的及时行为。权重被存储在一个可选择分辨率的数组中，代表WGS84坐标中感兴趣的矩形区域。图3展示了用于模拟加权分布图动态行为的可能衰减函数。

通常，加权分布图对应于任何一种传感器数据或传感器模式（例如，从摄像机图像中检测人的边界框）的时空。传感器数据被摄取到一个专门的加权图中，这导致加权图的值根据传入的传感器假设的权重而增加（替换）。相对而言，衰减将及时应用到加权分布图的值矩阵中。每次传感器假设被摄入分布图，它将通过重新计算加权分布图的权重和衰减以前状态的值来更新。

最后，线性意见库允许我们结合多个加权分布图，从而结合多传感器模式，目的是减少传感器系统的整体错误发现率。

线性意见库(LOP)

我们融合方法的第二个重要组成部分是线性意见库[8]。

每当一个加权分布图的状态由于新的传感器检测假设而被更新时，就会应用LOP。在评估了LOP之后，阈值处理使我们能够产生警报。为了确定警报的位置，在组合值矩阵中超过阈值的区域使用分割算法（blob检测）。这些警报是由多个传感器假设产生的，用于为跟踪提供必要的输入数据，这将在下一节中描述。