Personalization, while extensively studied in conventional autonomous driving pipelines, has been largely overlooked in the context of end-to-end autonomous driving (E2EAD), despite its critical role in fostering user trust, safety perception, and real-world adoption. A primary bottleneck is the absence of large-scale real-world datasets that systematically capture driving preferences, severely limiting the development and evaluation of personalized E2EAD models. In this work, we introduce the first large-scale real-world dataset explicitly curated for personalized E2EAD, integrating comprehensive scene topology with rich dynamic context derived from agent dynamics and semantics inferred via a fine-tuned vision-language model (VLM). We propose a hybrid annotation pipeline that combines behavioral analysis, rule-and-distribution-based heuristics, and subjective semantic modeling guided by VLM reasoning, with final refinement through human-in-the-loop verification. Building upon this dataset, we introduce the first standardized benchmark for systematically evaluating personalized E2EAD models. Empirical evaluations on state-of-the-art architectures demonstrate that incorporating personalized driving preferences significantly improves behavioral alignment with human demonstrations.


翻译:个性化在传统自动驾驶流程中已得到广泛研究,但在端到端自动驾驶(E2EAD)领域却长期被忽视,尽管其对增强用户信任、安全感知及实际应用至关重要。主要瓶颈在于缺乏系统记录驾驶偏好的大规模真实世界数据集,这严重制约了个性化E2EAD模型的开发与评估。本研究首次推出专为个性化E2EAD构建的大规模真实世界数据集,通过微调的视觉语言模型(VLM)推演智能体动态与语义信息,将完整场景拓扑结构与丰富的动态上下文相融合。我们提出一种混合标注流程,结合行为分析、基于规则与分布的启发式方法、以及VLM推理引导的主观语义建模,并通过人机协同验证进行最终优化。基于此数据集,我们建立了首个用于系统评估个性化E2EAD模型的标准化基准。在先进架构上的实证评估表明,融入个性化驾驶偏好能显著提升模型行为与人类示范的契合度。

0
下载
关闭预览

相关内容

Distributional Soft Actor-Critic (DSAC)强化学习算法的设计与验证
深度强化学习实验室
19+阅读 · 2020年8月11日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员