Object detection in autonomous driving suffers from motion blur and saturation under fast motion and extreme lighting. Spike cameras, offer microsecond latency and ultra high dynamic range for object detection by using per pixel asynchronous integrate and fire. However, their sparse, discrete output cannot be processed by standard image-based detectors, posing a critical challenge for end to end spike stream detection. We propose EASD, an end to end spike camera detector with a dual branch design: a Temporal Based Texture plus Feature Fusion branch for global cross slice semantics, and an Entropy Selective Attention branch for object centric details. To close the data gap, we introduce DSEC Spike, the first driving oriented simulated spike detection benchmark.


翻译:自动驾驶中的目标检测在快速运动和极端光照条件下易受运动模糊和饱和效应的影响。脉冲相机通过像素级异步积分与发放机制,为目标检测提供了微秒级延迟和超高动态范围。然而,其稀疏、离散的输出无法被标准基于图像的检测器处理,这对端到端脉冲流检测构成了关键挑战。我们提出EASD,一种端到端的脉冲相机检测器,采用双分支设计:时序纹理增强特征融合分支用于提取全局跨帧语义,以及熵选择注意力分支用于聚焦目标中心细节。为弥补数据缺口,我们引入了DSEC Spike,首个面向驾驶场景的模拟脉冲检测基准数据集。

0
下载
关闭预览

相关内容

【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员