PhysicalAI-Autonomous-Vehicle-Cosmos-Drive-Dreams

Cosmos-Drive-Dreams数据集包含5843个10秒长的视频片段的标签和81802个合成视频样本，用于展示和促进对Cosmos-Drive-Dreams模型的理解和使用，这些合成视频涵盖多种具有挑战性的驾驶场景，如雨、雪、雾等。

The Cosmos-Drive-Dreams dataset contains annotations for 5,843 10-second video clips and 81,802 synthetic video samples. It is designed to demonstrate and facilitate the understanding and utilization of the Cosmos-Drive-Dreams model. These synthetic videos cover various challenging driving scenarios such as rain, snow, fog and other adverse weather conditions.

搜集汇总

数据集介绍

构建方式

在自动驾驶技术迅猛发展的背景下，PhysicalAI-Autonomous-Vehicle-Cosmos-Drive-Dreams数据集通过先进的合成数据生成技术构建而成。该数据集基于RDS-HQ数据集中的5,843段十秒真实驾驶片段标签，利用Cosmos-Drive-Dreams世界基础模型生成了81,802个合成视频样本。构建过程采用自动化传感器标注与机器推导相结合的方式，涵盖高精度地图标注、激光雷达点云、多视角相机参数及动态物体追踪数据，确保了数据的一致性与丰富性。

特点

该数据集最显著的特点在于其大规模合成视频库，包含七种不同天气条件下的驾驶场景变体，如雨雪、雾天、夜间等罕见但关键的驾驶环境。数据模态全面，既包含结构化的高精地图矢量化标注和激光雷达点云，又提供多视角合成视频流。每个样本包含121帧连续画面，帧间保持严格的时间同步与空间对应关系，为自动驾驶系统的鲁棒性训练提供了近乎无限的场景组合可能性。

使用方法

研究人员可通过官方提供的Python下载脚本灵活获取数据集，支持按需选择高精地图、激光雷达或合成视频等模块化下载。数据集采用标准化的文件夹结构与文件命名规范，配套开源工具包支持数据解析与可视化。使用者可依据clip_id、chunk_id和weather参数精确匹配合成视频与对应的传感器数据，通过时间戳同步实现多模态数据融合，为自动驾驶感知、预测与控制算法的训练与验证提供完整闭环。

背景与挑战

背景概述

自动驾驶领域的发展亟需大规模高质量数据集支撑模型训练与验证。2025年5月，NVIDIA公司发布了PhysicalAI-Autonomous-Vehicle-Cosmos-Drive-Dreams数据集，该数据集基于RDS-HQ真实驾驶标注数据，通过世界基础模型Cosmos-Drive-Dreams生成了81,802段合成驾驶视频。数据集涵盖5,843段十秒驾驶片段，包含多模态传感器数据与高精地图标注，旨在解决自动驾驶系统在复杂天气与罕见场景下的感知与决策难题，为自动驾驶技术的安全部署提供关键数据支撑。

当前挑战

该数据集致力于解决自动驾驶系统在极端天气与复杂场景下的泛化能力问题，其核心挑战在于合成数据与真实物理规律的一致性保障，以及多模态传感器数据的时间同步与空间对齐。构建过程中面临大规模合成数据生成的计算资源约束，需平衡生成效率与物理真实性；同时需确保高精地图标注与动态物体追踪的精度，克服不同传感器数据格式的统一与标准化难题，以及合成场景与真实路况之间的域差异问题。

常用场景

经典使用场景

在自动驾驶仿真系统中，该数据集通过合成视频与多模态传感器数据的融合，为端到端驾驶模型提供高保真训练环境。其包含的5843个真实场景标签与81802段合成视频，覆盖雨雪雾等极端天气条件，有效解决了真实数据稀缺场景下的模型泛化问题。研究者可基于HDMap标注与LiDAR点云数据构建闭环仿真，验证感知决策算法的鲁棒性。

衍生相关工作

基于该数据集衍生的研究包括NeRF-Waymo、DriveGAN等世界模型构建工作，以及多模态轨迹预测、可控视频生成等方向。其提供的标准数据格式与工具链促进了UniAD、BEVFormer等经典算法的性能提升，同时为扩散模型在自动驾驶领域的应用提供了大规模验证平台。

数据集最近研究

最新研究方向

在自动驾驶领域，合成数据生成技术正成为解决极端场景数据稀缺问题的关键路径。PhysicalAI-Autonomous-Vehicle-Cosmos-Drive-Dreams数据集通过世界基础模型生成涵盖雨雪雾等复杂气象条件的驾驶视频，为多模态感知模型提供高保真训练资源。当前研究聚焦于合成数据与真实数据的域适应、多传感器时序对齐、以及生成式模型在自动驾驶仿真中的可靠性验证。该数据集推动了基于物理规则的场景重建技术发展，为端到端自动驾驶系统在罕见场景下的泛化能力评估提供重要基准，同时促进了合成数据与真实世界数据融合的标准化研究。