用于自动驾驶系统测试的生成式人工智能：综述

自动驾驶系统（Autonomous Driving Systems, ADS）一直是一个活跃的研究领域，具有为社会带来巨大益处的潜力。 然而，在大规模部署到公共道路之前，必须进行广泛的测试，以验证其在多样化驾驶条件下的功能和安全性。因此，需要采用不同的测试方法，而如何实现高效且有效的ADS测试仍是一个未解的挑战。 近年来，生成式人工智能（Generative AI）作为一种强大的工具在众多领域迅速发展，并因其能够理解上下文、推理复杂任务以及生成多样化输出的能力，越来越多地被应用于ADS测试。为了更深入地理解其在ADS测试中的作用，我们系统性地分析了91项相关研究，并将其研究成果综合为六大应用类别，这些类别主要聚焦于基于场景的ADS测试。 此外，我们还回顾了这些方法的有效性，并整理了评估中使用的大量数据集、模拟器、ADS系统、指标和基准，同时识别出27个局限性。本综述旨在提供生成式人工智能在ADS测试中的整体概览和实践见解，突出当前存在的挑战，并概述这一快速发展领域的未来研究方向。

1 引言

自动驾驶系统（Autonomous Driving Systems, ADS）近年来受到越来越多的关注，并被期待能够提升未来的出行方式与道路安全 [63, 152]。然而，在大规模部署之前，需要进行严格的测试，以确保其在各种真实世界场景下的安全性和可靠性 [175, 195]。这一测试过程十分复杂，涉及多种测试环境和方法 [137, 205]。根据欧盟最新的自动驾驶车辆型式认证法规 [157]，制造商必须证明其ADS在功能与操作安全方面达到可接受的水平，其中包括：定义性能要求、通过测试进行评估、提供详细的文档、维护安全管理体系，以及对所使用的仿真工具进行验证。最终，测试的目标正如SOTIF（Safety of the Intended Functionality，预期功能安全性）标准 [102] 所强调的，是要覆盖所有相关场景，尤其是那些对系统及其他道路使用者具有挑战性和危险性的关键场景 [191]。

ADS测试本质上具有高度复杂性，因为这些系统集成了多个功能模块和先进技术，并被期望能够在开放的操作环境中处理大量可能出现的场景 [112, 194, 195]。如何有效识别所有相关场景并确保测试覆盖度仍是一大挑战 [137]。此外，ADS中机器学习相关技术的采用，进一步引发了对其可解释性、安全性和鲁棒性的担忧 [4, 119]。在ADS工程的多个方面仍然存在显著差距，包括需求、设计及测试流程的标准化 [89]。因此，当前的测试实践似乎仍不足以全面应对ADS的复杂性，并且已经发生了致命事故，例如Uber自动驾驶车辆在美国亚利桑那州撞击行人 [247]，以及特斯拉自动驾驶系统未能识别出明亮天空下的卡车的事故 [2]。 生成式人工智能（Generative AI）指的是一类人工智能模型，例如 ChatGPT [100, 159]、DALL-E [171, 172] 和 GitHub Copilot [45]，它们能够基于训练数据中学习到的模式生成新的内容，包括文本、图像、音频、视频、代码等多种形式 [65]。生成式人工智能近年来受到了极大关注，并已广泛应用于创意内容生成、软件开发和医疗保健等多个领域 [16, 28, 188]。近期，生成式人工智能逐渐被引入ADS测试 [72, 211]。凭借其理解上下文、推理复杂任务以及生成多样化输出的能力，生成式人工智能成为一种新兴方法，并展现出在测试场景生成与分析等多方面支持ADS测试活动的强大潜力。 尽管具有潜力，但生成式人工智能在ADS测试中的应用仍处于早期阶段，其有效性、局限性和最佳实践仍 largely 未得到解答。为深入理解生成式人工智能在ADS测试中的作用，我们从多个主要文献数据库中筛选出91篇相关研究论文，并基于主题分析方法 [42, 99] 对其应用、效果与局限性进行了系统分析与综合。具体而言，本研究聚焦于三个研究问题： * RQ1：生成式人工智能如何用于ADS测试？ → 探讨使用了哪些生成式AI模型，它们如何应用于ADS测试，以及所针对的ADS类型。 * RQ2：生成式人工智能在ADS测试中的效果如何？ → 聚焦于评估环节，包括所使用的数据集、模拟器、ADS、指标与基准，以及相应的评估结果。 * RQ3：在ADS测试中使用生成式人工智能存在哪些局限性？ → 识别现有的局限性，并探讨已有或潜在的解决方案。

我们从这91篇论文中仔细提取了相关发现，特别关注生成式人工智能在ADS测试中应用的机制、通过评估所展现的有效性，以及论文中观察到或讨论的局限性。随后，我们将这些发现整合为一个聚焦于生成式人工智能应用于ADS测试的统一模型，并采用主题分析方法 [42, 99] 进行了系统总结。 我们的分析结果显示，探索生成式人工智能在ADS测试中的研究呈现明显的上升趋势。多种生成式模型被采用，包括大型语言模型（LLMs）、视觉-语言模型（VLMs）以及基于扩散的模型。这些模型主要应用于基于场景的测试，涵盖（关键）场景的生成、转换、重构、增强和理解。虽然它们在生成用于测试的目标场景和改进ADS方面表现出色，但仍存在若干局限性。常见挑战包括：生成结果不够理想、在少样本或未充分代表性数据上的泛化能力有限、难以处理复杂且领域特定的任务，以及计算成本高昂。 总体而言，本综述为生成式人工智能在ADS测试中的应用提供了整体视角和实践洞见，突出了当前的挑战，并为未来提升ADS测试的研究提供了参考。尽管已有一些关于ADS测试以及生成式人工智能在自动驾驶中应用的综述，但鲜有文献对生成式人工智能专门用于ADS测试进行深入探讨，这在一定程度上凸显了本研究的新颖性与价值。 本文的其余部分安排如下：第2节介绍本研究涉及的关键术语与概念；第3节阐述研究方法，包括文献的选择、分析与综合；第4节展示与研究问题相关的结果与分析；第5节讨论研究发现；第6节回顾相关文献并与我们的工作进行比较；最后，第7节对全文进行总结。