CARLA Real Traffic Scenarios (CRTS)

CARLA Real Traffic Scenarios (CRTS)是由华沙大学等机构创建的一个包含超过60,000个模拟交通场景的数据集，专注于短期战术驾驶操作。该数据集基于真实世界的交通数据，特别是从NGSIM和openDD数据集中提取的场景，旨在为自动驾驶系统提供训练和测试环境。CRTS通过开放源代码和定制地图，支持使用强化学习算法训练代理。数据集的应用领域包括自动驾驶系统的算法测试和概念验证，以及研究不同输入模式和奖励结构对策略性能的影响。CARLA Real Traffic Scenarios (CRTS) is a dataset containing over 60,000 simulated traffic scenarios, created by institutions including the University of Warsaw, focusing on short-term tactical driving maneuvers. Based on real-world traffic data, particularly scenarios extracted from the NGSIM and openDD datasets, it is designed to provide training and testing environments for autonomous driving systems. CRTS supports the training of agents with reinforcement learning algorithms through open-source code and custom maps. Its application areas include algorithm testing and proof-of-concept validation for autonomous driving systems, as well as research into the effects of different input modalities and reward structures on policy performance.

搜集汇总

数据集介绍

构建方式

在自动驾驶研究领域，构建高保真仿真环境对于算法训练与验证至关重要。CARLA Real Traffic Scenarios (CRTS) 数据集通过“真实到仿真”的方法构建，其核心在于从真实世界交通数据中提取战术驾驶场景。具体而言，研究团队基于鸟瞰视角的公开数据集NGSIM（高速公路场景）和openDD（环岛场景），从中自动识别并提取了车道变更与环岛通行等关键驾驶行为。每个场景中，除自车（ego vehicle）外，其他交通参与者均按照数据集记录的轨迹在CARLA仿真环境中回放，而自车则由外部控制器（如强化学习智能体）在闭环控制下自主决策。为匹配真实道路拓扑，团队手工构建了9张定制化的高精度地图，确保了场景的空间一致性。最终，超过6万个场景被划分为训练集与测试集，形成了规模化的仿真基准。

特点

CRTS 数据集的核心特点在于其独特的真实性与灵活性结合。首先，数据集植根于真实交通数据，通过回放真实轨迹而非人工设计，确保了场景中交通行为的多样性与真实性，有效缩小了仿真与现实的“现实鸿沟”。其次，依托CARLA仿真平台，数据集支持多模态观测输入，包括鸟瞰视图、视觉摄像头与激光雷达等，为研究不同感知模态对驾驶策略的影响提供了便利。此外，数据集明确区分训练与测试场景，避免了过拟合风险，使其成为研究算法泛化能力的理想平台。数据集还提供了标准化的OpenAI Gym接口与丰富的基线策略，降低了研究门槛，促进了自动驾驶战术决策方法的公平比较与迭代。

使用方法

CRTS 数据集主要用于自动驾驶系统的训练与基准测试。研究者可通过标准化的Gym接口接入场景，利用强化学习、模仿学习或传统规划等方法训练驾驶策略。在训练过程中，智能体接收来自仿真环境的多模态观测（如鸟瞰图或摄像头图像），并输出转向与速度控制指令，目标是在遵循高层导航指令（如“左转”、“直行”）的前提下，安全完成车道变更或环岛通行等战术任务。性能评估主要基于场景成功率，同时可监控碰撞、违规等负面事件。数据集的测试集用于评估模型的泛化能力，而提供的基线实验（包括不同奖励函数与观测模态的对比）则为方法改进提供了参考基准。通过这种方式，CRTS 成为了连接仿真研究与现实部署的有效验证桥梁。

背景与挑战

背景概述

自动驾驶领域在提升道路安全与降低人力需求的愿景推动下，已成为一个蓬勃发展的研究领域。CARLA Real Traffic Scenarios (CRTS) 数据集由 deepsense.ai、华沙大学、大众汽车等机构的研究人员于2021年共同创建，旨在为自动驾驶系统提供一个基于真实交通场景的训练与测试平台。该数据集的核心研究问题聚焦于解决自动驾驶中战术层面的规划挑战，即在数秒时间范围内，车辆需在高速公路变道和环岛通行等交互密集型场景中，遵守交通规则并应对其他交通参与者。CRTS 通过从 NGSIM 和 openDD 等真实鸟瞰数据集中提取超过6万条场景，并利用 CARLA 模拟器进行重建，显著缩小了仿真与现实之间的差距，为算法验证与概念验证提供了高度可靠的实验环境，对推动自动驾驶技术的安全部署与泛化研究产生了深远影响。

当前挑战

CRTS 数据集致力于解决自动驾驶中战术规划问题的核心挑战，例如在高速公路变道和环岛通行等动态交互场景中，如何确保车辆在遵守交通规则的同时，安全高效地完成短时决策。这些场景要求算法不仅具备精准的环境感知能力，还需在复杂交通流中实现稳健的协同行为，避免碰撞并优化行驶轨迹。在数据集构建过程中，研究团队面临的主要挑战包括：如何从真实鸟瞰数据中准确提取并重建交互式交通场景，以保持现实世界的多样性与真实性；以及如何在仿真环境中平衡非自我车辆轨迹回放的固定性与交互性，避免因过度反应或行为单一而影响训练效果。此外，确保不同观察模态（如鸟瞰视图、视觉输入与激光雷达）下的算法泛化能力，以及设计能够促进稳定学习的奖励函数，亦是该数据集构建与使用中的关键难题。

常用场景

经典使用场景

在自动驾驶研究领域，模拟环境为算法验证提供了安全且经济的平台。CARLA Real Traffic Scenarios (CRTS) 数据集通过将真实交通场景导入CARLA模拟器，构建了一个包含超过6万条交互式战术驾驶场景的基准测试集。该数据集专注于高速公路变道和环岛通行等持续数秒的战术任务，为强化学习、模仿学习等控制方法提供了标准化的训练与评估环境。研究者可利用其提供的鸟瞰图、视觉输入及激光雷达等多模态观测数据，系统性地探索不同算法在复杂交通交互中的表现。

解决学术问题

CRTS数据集有效应对了自动驾驶研究中战术规划层级的核心挑战，即如何在数秒时间跨度内遵守交通规则并与其他交通参与者安全交互。该数据集通过基于真实鸟瞰数据（如NGSIM和openDD）重建场景，显著缓解了模拟环境与真实世界之间的“现实鸿沟”。其标准化的训练与测试分割机制，为研究控制方法的泛化能力提供了可靠基础，尤其有助于探索不同观测模态、奖励机制对策略性能与泛化性的影响，推动了自动驾驶算法在安全性与适应性方面的理论进展。

衍生相关工作

CRTS数据集自发布以来，已催生了一系列围绕自动驾驶战术规划与强化学习泛化性的研究。例如，相关工作基于其多模态观测接口，深入比较了鸟瞰图、前端视觉与激光雷达在不同驾驶场景下的效能差异。此外，该数据集为研究奖励函数设计（如稀疏奖励与密集奖励）对策略学习与泛化性能的影响提供了实验基础。部分后续工作进一步探索了如何在其框架内引入更复杂的多智能体交互机制，或将其场景扩展至交叉路口等更多元化的驾驶情境，持续推动着仿真驱动自动驾驶研究的边界。