SafeBench

SafeBench是由伊利诺伊大学厄巴纳-香槟分校和卡内基梅隆大学共同开发的自动驾驶安全评估基准平台。该数据集包含2352个安全关键测试场景，涵盖了国家公路交通安全管理局定义的8种安全关键测试场景，并针对每种场景设计了10种不同的变体。SafeBench通过集成多种场景生成算法和驾驶路线变体，旨在为自动驾驶算法提供一个统一的平台，以评估其在各种环境下的性能。该数据集的应用领域主要集中在自动驾驶系统的安全性和鲁棒性评估，旨在解决自动驾驶系统在复杂和罕见情况下的性能问题。SafeBench is an autonomous driving safety evaluation benchmark platform co-developed by the University of Illinois Urbana-Champaign and Carnegie Mellon University. This dataset comprises 2352 safety-critical test scenarios, covering 8 categories of safety-critical test scenarios defined by the National Highway Traffic Safety Administration (NHTSA), with 10 distinct variants developed for each scenario. By integrating multiple scenario generation algorithms and driving route variants, SafeBench aims to provide a unified platform for autonomous driving algorithms to evaluate their performance across diverse environments. The dataset is primarily applied to the safety and robustness evaluation of autonomous driving systems, aiming to address the performance issues of autonomous driving systems in complex and rare scenarios.

搜集汇总

数据集介绍

构建方式

在自动驾驶安全评估领域，SafeBench数据集通过模块化设计构建了一个统一的基准测试平台。该数据集基于开源仿真环境CARLA，整合了ROS通信框架，形成了包含自车节点、智能体节点、场景节点与评估节点四大核心模块的系统架构。场景生成方面，研究团队依据美国国家公路交通安全管理局（NHTSA）定义的八类典型预碰撞场景，为每类场景设计了十条具有不同车道数、道路标志与周边环境变化的行驶路线。在此基础上，集成了对抗性生成与知识驱动生成两类共四种场景生成算法，包括Learning-to-collide、AdvSim、Carla Scenario Generator及Adversarial Trajectory Optimization，通过对初始状态或轨迹参数的优化，生成了大量安全关键测试用例，并经过基于碰撞率的筛选，最终构建了包含2352个高转移性测试场景的基准数据集。

特点

SafeBench数据集的核心特点在于其全面性与统一性。该数据集首次将多样化的安全关键场景、多种生成算法以及多维评估指标整合于同一平台，实现了跨算法、跨场景的公平比较。其场景覆盖了直线障碍、转弯障碍、换道、超车、闯红灯、无保护左转、右转及交叉口协商等八类NHTSA标准预碰撞情形，并辅以丰富的路线变体，确保了评估的广泛代表性。评估体系设计尤为精细，从安全性、功能性与礼仪性三个层面出发，定义了碰撞率、闯红灯频率、路线完成率、平均加速度等十项量化指标，并据此计算综合得分，为自动驾驶算法提供了多层次、可量化的性能诊断。平台的高度模块化与灵活性也支持用户便捷地替换或扩展算法、场景与评估模块。

使用方法

使用SafeBench数据集进行自动驾驶算法评估，需遵循其平台设定的标准化流程。研究人员首先将待测算法部署于平台的智能体节点中，算法可通过自车节点接收来自仿真环境的传感器观测信息，如鸟瞰图、摄像头图像或低维状态向量。随后，评估过程在场景节点生成的安全关键测试场景中展开，这些场景可通过配置选择特定的生成算法与路线变体。算法在场景中的交互数据将被评估节点实时采集，并依据预设的十项指标进行自动化计算与汇总。最终，平台将输出包含各分项指标得分及综合评分的诊断报告，用户可据此横向比较不同算法在相同测试集下的安全性与鲁棒性表现，或纵向分析单一算法在不同场景类型与生成方法下的性能差异。

背景与挑战

背景概述

SafeBench作为自动驾驶安全评估领域的首个统一基准平台，由伊利诺伊大学厄巴纳-香槟分校与卡内基梅隆大学的研究团队于2022年联合推出。该平台旨在解决自动驾驶系统在对抗性操纵与自然分布偏移下暴露的脆弱性问题，核心研究聚焦于高效生成安全关键场景，以替代传统测试中需耗费数亿英里实际驾驶的高成本与低效率模式。通过整合美国国家公路交通安全管理局定义的八类预碰撞场景，并融合对抗性与知识驱动的生成算法，SafeBench构建了模块化评估框架，为不同自动驾驶算法的鲁棒性比较提供了标准化环境，显著推动了安全关键系统评估方法的发展。

当前挑战

SafeBench面临的挑战主要体现在两大维度：在领域问题层面，自动驾驶安全评估需应对现实世界中安全关键场景的稀缺性与高维复杂性，传统测试方法因概率收敛保障不足，易导致风险低估；同时，不同评估平台在场景定义、生成算法与输入类型上的异构性，使得算法效果横向对比困难。在构建过程中，挑战集中于多源生成算法的统一集成，包括对抗性生成与知识约束生成的协调，以及大规模场景（如2352个测试场景）的筛选与优化，需确保生成场景在跨算法迁移性与风险等级间的平衡，避免生成违反交通规则的无效测试用例。

常用场景

经典使用场景

在自动驾驶领域，安全评估是确保算法可靠性的核心环节。SafeBench作为首个统一的安全评估基准平台，其经典使用场景在于系统性地生成和测试安全关键驾驶场景，涵盖直线障碍、转弯障碍、车道变更等八类典型预碰撞情境。通过集成多种场景生成算法和多样化驾驶路线，该平台能够对自动驾驶算法进行大规模、高效的仿真测试，从而在虚拟环境中模拟现实世界中罕见的危险情况，显著提升测试的覆盖面和深度。

解决学术问题

SafeBench解决了自动驾驶研究中安全评估的若干关键学术问题。传统测试方法因安全关键场景的稀有性而需耗费数百万英里的实际驾驶，导致效率低下且成本高昂。该平台通过统一集成对抗性生成与知识性生成算法，提供了可比较的测试环境，使得研究人员能够公平评估不同算法的安全性与鲁棒性。此外，其模块化设计支持灵活替换或扩展测试组件，促进了测试场景生成算法与安全驾驶算法的协同发展，为自动驾驶系统的可靠性研究奠定了坚实基础。

衍生相关工作

SafeBench的推出催生了多项相关经典研究工作。在场景生成方面，基于对抗性优化的方法如Learning-to-collide和AdvSim被进一步扩展，以生成更具挑战性的测试案例。同时，知识性生成算法如Carla Scenario Generator和Adversarial Trajectory Optimization结合领域知识，提升了场景的物理合理性。在评估层面，该平台启发了多模态感知系统的鲁棒性研究，例如针对点云分割和三维物体检测的对抗攻击测试，推动了自动驾驶安全评估向更全面、更精细的方向发展。