ReactSim-Bench

ReactSim-Bench是首个用于系统评估自动驾驶中行为世界模型反应能力的基准。它基于nuPlan构建，包含2636个测试场景，这些场景中的自动驾驶车辆行为与日志不同，对周围智能体产生反应压力，分为纵向偏差、方向偏差和横向偏差三类类别。ReactSim-Bench is the first benchmark for systematically evaluating the reactive capabilities of behavioral world models in autonomous driving. Built upon nuPlan, it encompasses 2636 test scenarios where the behaviors of autonomous vehicles deviate from the logged data and pose reactive pressure on surrounding intelligent agents. These scenarios are classified into three categories: longitudinal deviation, directional deviation, and lateral deviation.

原始信息汇总

ReactSim-Bench 数据集概述

ReactSim-Bench 是首个用于系统评估自动驾驶中行为世界模型反应能力的基准测试平台。

核心特性

• 反应式闭环协议与解耦控制：在该基准中，行为世界模型控制周围智能体，而自动驾驶车辆（AV）由其自身策略控制，而非世界模型。
• 记录之外的定制化AV行为：包含2,636个场景，这些场景中的AV行为与记录数据不同，并对周围智能体产生反应性压力。这些场景分为三类：纵向偏差、方向偏差和横向偏差。
• 安全性与可行性指标：评估智能体-AV碰撞风险、智能体-智能体碰撞风险、地图合规性、行驶方向合规性以及运动学可行性。
• 多基线模型：在ReactSim-Bench上实现了基于Transformer（MTR）、扩散模型（CTG, VBD）和下一词元预测（SMART, CATK, TrajTok）的行为世界模型作为基线。

数据集构成

ReactSim-Bench 基于 nuPlan 构建，包含2,636个测试场景：

类别	场景数量
纵向偏差	937
方向偏差	799
横向偏差	900
总计	2,636

数据可在 Hugging Face 获取。

基准测试结果

以下为各方法在关键指标上的表现：

方法	A-AV 碰撞次数	A-AV 危险次数	A-A 碰撞 (%)	偏离道路 (%)	方向违规 (%)	加速度不可行 (%)	转向不可行 (%)
Log Replay	0.9829	1.5380	2.25	0.18	0.80	0.16	2.51
MTR	0.1457	0.5819	3.29	2.67	2.83	0.64	14.29
CTG	0.6195	0.9476	4.88	2.95	2.10	10.87	7.08
VBD	0.2276	0.4711	3.19	1.03	2.35	0.01	0.18
SMART	0.1419	0.3976	2.23	0.68	1.09	9.74	4.83
CATK	0.1426	0.4029	2.22	0.69	1.13	10.25	5.02
TrajTok	0.1407	0.4173	2.23	0.61	1.03	3.23	3.93

各基线模型的检查点可在 Hugging Face 获取。

相关资源链接

• 论文：https://arxiv.org/pdf/2606.14058
• 数据：https://huggingface.co/datasets/zzzy0729/ReactSim-Bench-Data
• 基线模型：https://huggingface.co/zzzy0729/ReactSim-Bench-Models
• nuPlan：https://github.com/motional/nuplan-devkit
• MTR：https://github.com/sshaoshuai/MTR
• CTG：https://github.com/NVlabs/CTG
• VBD：https://github.com/SafeRoboticsLab/VBD
• SMART：https://github.com/rainmaker22/SMART
• CATK：https://github.com/NVlabs/catk
• TrajTok：https://github.com/Thinklab-SJTU/TrajTok

引用

bibtex @article{reactsimbench, title={ReactSim-Bench: Benchmarking Reactive Behavior World Model Simulation in Autonomous Driving}, author={Zhiyuan Zhang and Yanlun Peng and Jianing Zhang and Xianda Guo and Zehan Huang and Haoran Liu and Qifeng Li and Shaofeng Zhang and Xiaosong Jia and Junchi Yan}, year={2026}, eprint={2606.14058}, archivePrefix={arXiv}, primaryClass={cs.RO}, }

搜集汇总

数据集介绍

构建方式

ReactSim-Bench构建于nuPlan数据集之上，精心择取了2,636个测试场景。这些场景中的自动驾驶车辆（AV）行为被设计为与原始日志存在差异，从而对周围智能体产生显著的响应性压力。具体而言，这些差异化行为被划分为纵向偏离、方向偏离与横向偏离三大类别，数量分别为937、799和900个。该数据集通过解耦控制协议实现闭环仿真，其中行为世界模型仅控制周围智能体，而自车由独立策略主导，以此精准评估模型的响应式仿真能力。

使用方法

使用ReactSim-Bench需依次完成环境搭建、数据下载与预处理。用户首先需参照官方文档安装所需依赖库并配置执行环境，随后从Hugging Face平台下载场景数据。针对不同基线模型（如MTR、CTG、VBD、SMART、CATK及TrajTok），数据集中提供了独立的训练与评估指南。用户还可依据扩展文档说明，轻松集成并测试自定义的行为世界模型。最终所有性能指标均在统一的响应式闭环协议框架下计算生成，确保结果的可复现性与可比性。

背景与挑战

背景概述

ReactSim-Bench是首个系统评估自动驾驶行为世界模型反应能力的基准测试，由上海交通大学等机构的研究人员于2026年创建。该基准聚焦于自动驾驶中行为世界模型在闭环仿真环境下的反应式模拟能力，其核心研究问题在于如何衡量模型在面对非日志记录的自主车辆（AV）行为时，对周围交通参与者产生的交互响应与安全影响。基于nuPlan数据集，ReactSim-Bench构建了包含2636个测试场景的评估体系，涵盖纵向、方向与横向三类AV行为偏差，并引入Agent-AV安全、Agent-Agent安全、地图合规性等多维度指标，为自动驾驶仿真领域提供了标准化的评测平台，对推动行为世界模型的鲁棒性与安全性研究具有重要意义。

当前挑战

当前挑战主要源于领域问题与构建过程的双重复杂性。在领域层面，现有行为世界模型多依赖日志回放或固定策略，难以准确模拟交通参与者在面对未见过AV行为时的真实反应，导致仿真真实性不足；同时，缺乏对反应式交互中安全与可行性指标的标准化评估，如Agent-AV碰撞风险与运动学约束。在构建过程中，如何设计多样化的、偏离日志记录的AV行为以生成有效的反应压力是一个难点，需要平衡场景的挑战性与物理可行性；此外，针对Transformer、扩散模型及下一词预测等多种基线方法的统一训练与评估框架的实现也面临兼容性和效率挑战。

常用场景

经典使用场景

ReactSim-Bench作为首个系统性评估自动驾驶行为世界模型反应能力的基准，其经典使用场景在于构建闭环反应式仿真协议。该协议通过解耦控制设计，使行为世界模型掌控周围智能体的运动轨迹，而自动驾驶车辆（AV）则独立运行其自有策略，从而精准测试模型在面对非日志记录的、具有反应性压力的自定义AV行为时的动态适应能力。基准包含纵、横、方向三类共2636个场景，为模型在复杂交互环境中的鲁棒性验证提供了标准化平台。

解决学术问题

该数据集有效解决了现有自动驾驶仿真中行为世界模型反应能力评估缺失的学术难题。传统方法往往依赖开环日志回放或假定周围智能体被动跟随，无法反映模型面对AV主动偏离规划路径时的安全协作表现。ReactSim-Bench通过引入Agent-AV安全性、Agent间碰撞率、地图合规性、行驶方向合规性及运动学可行性等多维评估指标，量化分析了不同架构模型（如Transformer、扩散模型、下一词预测模型）在反应场景下的薄弱环节，推动了行为建模理论向闭合仿真验证体系的演进。

实际应用

在实际应用中，ReactSim-Bench为自动驾驶系统开发与部署提供了高保真的安全验证工具。车企和算法团队可利用该基准在虚拟环境中预演AV在道路上突然加减速、变道或转向等异常行为时，周围交通参与者的应对逻辑，提前暴露风险场景。此外，通过对比不同基线模型的表现，研发人员能够迭代优化世界模型的行为预测能力，从而降低实车路测中因环境模型不敏感导致的事故隐患，加速安全可靠的自动驾驶系统落地。

数据集最近研究

最新研究方向

在自动驾驶领域，行为世界模型对周围交通参与者进行逼真模拟是提升系统安全性的关键。ReactSim-Bench作为首个系统性评估行为世界模型反应能力的基准，开创性地提出了“解耦控制的反应闭环协议”，确保自车策略与世界模型相互独立。该基准涵盖纵向、方向与横向偏差三大类2636个自定义测试场景，突破传统仅依赖历史日志的局限，为模型施加真实的反应压力。同时，它引入安全性与可行性多维度评估指标，全面审视智能体间及智能体与自车的交互质量。基于Transformer、扩散模型、下一个令牌预测等前沿架构的多种基线方法在此统一框架下完成评测，揭示了不同范式在反应能力上的显著差异，为构建更鲁棒、更安全的自动驾驶仿真环境提供了坚实基准。