CustomizedSpeedDataset

CustomizedSpeedDataset是由上海交通大学、复旦大学和NVIDIA联合构建的自动驾驶领域专用数据集，旨在支持用户自定义速度条件下的端到端自动驾驶研究。该数据集包含2100个复杂驾驶场景，数据通过CARLA仿真平台采集，并由改进的专家模型PDM-Lite-Speed标注目标速度和超车/跟随指令。其核心创新在于提出虚拟目标速度重标注策略，可从常规驾驶数据中推导监督信号，避免依赖真实专家演示。数据集覆盖中等和困难两种难度级别，包含平衡的场景分布和动态指令变化，专门用于解决自动驾驶策略在用户指定速度控制方面的性能评估与优化问题。

CustomizedSpeedDataset is a specialized autonomous driving dataset jointly constructed by Shanghai Jiao Tong University, Fudan University, and NVIDIA. It is designed to support end-to-end autonomous driving research under user-defined speed conditions. This dataset contains 2100 complex driving scenarios, with data collected via the CARLA simulation platform, and target speeds as well as overtaking/following commands annotated by the improved expert model PDM-Lite-Speed. Its core innovation lies in the proposed virtual target speed re-annotation strategy, which can derive supervision signals from conventional driving data, eliminating the need to rely on real expert demonstrations. The dataset covers two difficulty levels: moderate and hard, and features balanced scenario distribution and dynamic command variations. It is specifically tailored for performance evaluation and optimization of autonomous driving strategies related to user-specified speed control.

原始信息汇总

Bench2Drive-Speed 数据集概述

数据集简介

Bench2Drive-Speed 是一个用于期望速度条件自动驾驶的闭环基准测试。它通过目标速度和超车/跟随指令，实现对车辆行为的显式控制。

核心特性

• 目标速度条件控制：允许用户指定期望的驾驶速度。
• 超车/跟随指令：提供明确的超车或跟随其他车辆的指令。
• 定量可控性指标：包含用于评估可控性的量化指标。
• 闭环评估基准：支持在闭环仿真环境中进行系统评估。

数据集内容

• 场景数量：包含 2,100 个 CARLA 驾驶场景。
• 数据内容：每个场景包含专家演示数据和已标注的超车/跟随指令。
• 发布数据：当前发布的数据集仅包含专家目标速度信号。

数据获取与处理

• 下载地址：https://huggingface.co/datasets/rethinklab/Bench2Drive-Speed
• 数据格式：下载后需解压 tar.gz 归档文件。
• 虚拟目标速度标注：提供脚本可从 Bench2Drive 风格驾驶数据集中生成虚拟目标速度，支持短距离（MAX_EXTEND = 3.0, TIME_MAX = 1.5）和长距离（MAX_EXTEND = 10.0, TIME_MAX = 3.0）两种参数设置。

评估与指标

• 评估路线：基准测试包含 48 条评估路线。
• 核心评估指标：
  • 速度遵循度
  • 驾驶分数与成功率
  • 超车分数
  • 多能力结果
  • 驾驶效率与平顺性

基线模型

• 基线检查点下载：https://huggingface.co/rethinklab/TCP-Speed
• 训练方式：
  • 使用专家演示进行训练
  • 使用虚拟目标速度进行训练（需提前完成标注）

许可证

所有资源和代码均采用 CC-BY-NC-ND 许可证，除非另有说明。

引用

bibtex @article{Bench2DriveSpeed, title={Can Users Specify Driving Speed? Bench2Drive-Speed: Benchmark and Baselines for Desired-Speed Conditioned Autonomous Driving}, author={Yuqian Shao and Xiaosong Jia and Langechuan Liu and Junchi Yan}, year={2026}, eprint={2603.25672}, archivePrefix={arXiv}, primaryClass={cs.RO}, }

搜集汇总

数据集介绍

构建方式

在端到端自动驾驶领域，用户对行驶速度的个性化定制需求长期被忽视。为填补这一空白，CustomizedSpeedDataset应运而生，其构建过程体现了严谨的仿真数据生成策略。该数据集在CARLA仿真环境中，通过改进的规则型专家模型PDM-Lite-Speed采集了2100个驾驶场景。每个场景不仅包含标准的传感器与状态信息，更关键的是被标注了明确的目标速度指令以及超车/跟随指令。值得注意的是，除了直接从专家模型内部参数获取目标速度这一强监督信号外，数据集创新性地引入了“虚拟目标速度”的再标注策略。该策略通过分析常规驾驶数据未来帧的速度序列，提取其单调变化趋势并外推，从而为现有的大规模真实世界驾驶数据提供了无需依赖内部规划器参数的速度监督信号，极大地提升了数据构建的可扩展性与实用性。

使用方法

该数据集旨在为训练和评估速度条件化的端到端自动驾驶策略提供基准。研究人员可利用其提供的多模态数据（包括视觉输入、车辆状态、边界框标注及速度指令）对模型进行监督训练。数据集支持两种主要的监督范式：一是直接使用专家演示提供的精确目标速度；二是采用虚拟目标速度对现有常规驾驶数据进行再标注，后者为在真实世界数据上引入速度监督提供了可行路径。在评估层面，数据集与Bench2Drive-Speed基准紧密集成，支持在闭环仿真中对模型的指令遵循度（如速度 adherence 分数、超车分数）进行量化评测，并能与传统自动驾驶指标（安全性、舒适度、交通规则遵守度等）进行联合分析，从而系统性地权衡速度可控性与核心驾驶性能之间的平衡关系。

背景与挑战

背景概述

端到端自动驾驶领域近年来取得了显著进展，然而用户对驾驶策略进行个性化速度定制的实用功能长期被忽视。为填补这一空白，上海交通大学、复旦大学及英伟达的研究团队于2026年共同构建了CustomizedSpeedDataset。该数据集作为Bench2Drive-Speed基准的核心组成部分，旨在解决期望速度条件化自动驾驶这一核心研究问题，即如何使自动驾驶系统能够精确响应用户指定的目标速度与超车指令。数据集包含2100个在CARLA仿真环境中采集的驾驶场景，通过专家演示与虚拟目标速度重标注两种策略提供监督信号，为系统研究速度条件化驾驶的监督策略奠定了数据基础，推动了自动驾驶从通用性能向个性化交互能力的发展。

当前挑战

该数据集致力于解决的领域挑战在于实现精确、安全且符合交规的期望速度条件化驾驶。具体而言，模型需在复杂动态交通环境中，平衡用户指令的遵从性与安全性、舒适性及交通规则合规性之间的固有冲突，尤其在执行超车指令时，需完成涉及长时程交互的激进机动而避免碰撞风险。在数据集构建层面，主要挑战源于目标速度监督信号的获取。真实世界驾驶数据缺乏期望速度标注，而依赖专家控制器内部参数的标注方法虽精确却不具可扩展性。为此，研究团队创新性地提出了基于未来帧速度序列的虚拟目标速度重标注策略，通过提取短期速度单调趋势并随机外推，在无需特权信息的情况下为海量常规驾驶数据构建监督信号，从而解决了监督信号稀缺与标注成本高昂的构建难题。

常用场景

经典使用场景

在端到端自动驾驶研究领域，CustomizedSpeedDataset的经典使用场景集中于探索速度可控的驾驶策略。该数据集通过引入显式的目标速度指令和超车/跟随命令，为模型提供了精确的速度调控监督信号。研究人员通常利用其2100个标注场景，在CARLA仿真环境中训练和评估端到端驾驶模型对用户速度偏好的遵循能力。数据集包含从简单到困难的多层次场景，能够系统分析模型在不同交通复杂度下维持目标速度的稳定性，尤其适用于研究纵向速度控制与横向交互行为的耦合关系。

解决学术问题

该数据集有效解决了自动驾驶研究中长期被忽视的用户速度定制化需求问题。传统端到端驾驶方法缺乏对显式速度指令的响应机制，而CustomizedSpeedDataset通过提供目标速度标注和交互指令，使得模型能够学习在安全约束下适应用户的速度偏好。它突破了以往将速度隐含在抽象驾驶风格（如保守型、激进型）中的局限，为量化评估速度跟随性能建立了基准。数据集还通过虚拟目标速度重标注策略，证明了无需依赖专家内部参数即可从常规驾驶数据中提取有效监督信号，为现实世界数据的速度条件化学习提供了可行路径。

实际应用

在实际应用层面，CustomizedSpeedDataset支撑的驾驶策略可显著提升自动驾驶系统的个性化体验。例如，紧急用户可指令车辆保持较高巡航速度并主动超车，而谨慎用户则可选择跟随前车。这种定制化能力对于共享自动驾驶车队、老年或新手驾驶员的辅助系统具有重要意义。数据集训练的模型能够在复杂交通场景中动态调整纵向行为，同时保持与标准安全指标的兼容性。其构建的闭环评估框架可直接应用于实际系统的算法验证，为开发兼具安全性与用户偏好的商用自动驾驶系统提供了关键技术基础。

数据集最近研究

最新研究方向

在端到端自动驾驶领域，用户对车辆行驶速度的个性化定制需求日益凸显，而传统方法多将速度控制隐含于抽象驾驶风格中，缺乏显式、可量化的调控机制。CustomizedSpeedDataset作为Bench2Drive-Speed基准的核心组成部分，正推动该领域向显式速度条件化控制的前沿探索。该数据集通过引入目标速度与超车/跟随指令，并设计虚拟目标速度重标注策略，使得模型能够在无需额外真实世界数据收集的情况下学习速度遵从性。当前研究聚焦于如何在复杂交通场景中平衡速度指令遵从与安全性、舒适性及交通规则遵守之间的权衡，同时探索超车等交互行为的可控制性。这一方向不仅提升了自动驾驶系统的个性化适配能力，也为实现更自然、可信的人机协同驾驶奠定了关键基础。

相关研究论文

• Can Users Specify Driving Speed? Bench2Drive-Speed: Benchmark and Baselines for Desired-Speed Conditioned Autonomous Driving

  上海交通大学·计算机科学与人工智能学院; 复旦大学·可信嵌入式人工智能研究所; NVIDIA · 2026年