【KDD2021】基于分布式深度强化学习的节能3D车辆众包灾难响应

获奖论文题为《Energy-Efficient 3D Vehicular Crowdsourcing For Disaster Response by Distributed Deep Reinforcement Learning》。面向灾害救援等应急响应场景，如何有效采集环境和生命体征数据是成功应对的关键。由无人机和无人驾驶汽车等无人平台组成的车辆众包可协助救援队从采集点（例如幸存者可能地点和火灾现场）收集上述数据，从而提供了一种有效的协助灾难救援方式，目标是以最大限度地提高收集的数据量、区域公平性、能源效率，同时最大限度地减少由于传输速率有限而导致的数据丢失。为此，论文提出了一种分布式深度强化学习框架DRL-DisasterVC(3D)，一个带有重复经验回放机制(RER) 以提高学习效率，并使用裁剪目标网络来提高学习稳定性，进一步使用具有多头关系注意力(MHRA)的3D卷积神经网络进行空间建模，并且添加辅助像素控制技术(PC)进行空间探索。论文研制了一种名为「DisasterSim」的新型灾难响应模拟器，通过大量仿真实验表明所提算法在能效方面优于五种基线方法。