DiST-4D; PhyGenesis

PhyGenesis是一个大规模、多视角的异构数据集，由浙江大学和小米汽车等机构联合构建，旨在解决自动驾驶视频生成中的物理一致性问题。该数据集包含真实世界驾驶数据（如nuScenes）和通过CARLA模拟器生成的极端物理场景数据，总计31小时的驾驶数据，其中CARLA-Adv子集包含760K标注边界框。数据集通过精确的碰撞传感器和地图元数据标注，重点关注碰撞、偏离道路等复杂物理交互事件。该数据集主要用于训练物理感知的驾驶世界模型，以生成高保真且物理一致的自动驾驶视频，特别是在具有挑战性的轨迹条件下。

PhyGenesis is a large-scale, multi-view heterogeneous dataset jointly constructed by Zhejiang University, Xiaomi Auto and other institutions, aiming to address the problem of physical consistency in autonomous driving video generation. This dataset contains real-world driving data (e.g., nuScenes) and extreme physical scenario data generated via the CARLA simulator, with a total of 31 hours of driving data, while the CARLA-Adv subset includes 760K annotated bounding boxes. Annotated with precise collision sensor and map metadata, the dataset focuses on complex physical interaction events such as collisions and road departures. This dataset is primarily used for training physics-aware driving world models to generate high-fidelity and physically consistent autonomous driving videos, especially under challenging trajectory conditions.

搜集汇总

数据集介绍

构建方式

在自动驾驶仿真领域，构建能够应对极端物理交互的数据集是提升世界模型鲁棒性的关键。PhyGenesis数据集的构建采用了异构混合策略，巧妙融合了真实世界驾驶数据与合成仿真数据。具体而言，研究团队不仅利用了nuScenes数据集提供的常规驾驶场景，更通过CARLA仿真平台生成了大量物理挑战性场景，包括车辆碰撞、偏离道路等极端事件。在数据采集过程中，研究团队精心设计了对抗性路由扰动机制，通过调整目标速度和横向偏移来诱导物理异常事件，并配备了与nuScenes完全对齐的多视角传感器套件，确保数据格式的统一性。最终构建的数据集包含约31小时的仿真驾驶数据，其中9.7小时为高物理挑战性场景，与4.6小时真实世界数据形成了有机互补。

特点

该数据集最显著的特征在于其物理丰富性与场景多样性。与常规驾驶数据集局限于安全驾驶行为不同，PhyGenesis通过仿真手段系统性地引入了各类物理异常事件，有效填补了真实世界数据在极端场景表征上的空白。数据集中的物理挑战性场景不仅包含自车碰撞、偏离道路等典型事件，还涵盖了附近车辆事故等多种交互模式，为模型学习复杂物体-环境相互作用提供了密集的监督信号。特别值得注意的是，数据集通过碰撞传感器和高精地图元数据精确记录了物理事件发生的时间戳，这种细粒度的标注方式为物理一致性建模提供了关键支撑。数据分布的统计分析显示，仿真数据的最大加速度分布明显向高值区域偏移，印证了其物理动态的挑战性本质。

使用方法

该数据集的核心应用价值在于训练具有物理感知能力的驾驶世界模型。研究团队设计了分阶段的训练范式：首先利用数据集中的对抗性轨迹样本训练物理条件生成器，该模块能够将可能违反物理规律的二维轨迹输入转化为物理合理的六自由度车辆运动；随后将修正后的轨迹条件输入物理增强的多视角视频生成器，该生成器通过异构混合训练策略，同时学习真实世界数据的视觉保真度与仿真数据的物理交互先验。在实际使用中，模型接收初始多视角图像、静态地图和未来轨迹作为输入，通过物理条件生成器进行轨迹修正，再通过视频生成器合成高保真度的多视角驾驶视频序列。这种设计使得模型即使在输入轨迹违反物理约束的情况下，仍能生成视觉逼真且物理一致的场景模拟，为自动驾驶系统的安全测试和规划评估提供了可靠的仿真环境。

背景与挑战

背景概述

DiST-4D与PhyGenesis数据集于2026年由浙江大学、小米汽车等机构的研究团队提出，旨在推动自动驾驶视频世界模型在物理一致性方面的研究。该数据集聚焦于解决现有驾驶视频生成模型在应对挑战性轨迹（如碰撞、偏离道路等极端场景）时产生的物理失真问题。通过整合真实世界驾驶数据与CARLA模拟器生成的物理丰富合成场景，该数据集为模型提供了学习复杂物体-环境交互的监督信号，从而增强了生成视频的视觉保真度与物理合理性，对自动驾驶仿真与安全测试领域具有重要影响力。

当前挑战

该数据集致力于解决驾驶视频生成中物理一致性的核心挑战，即在输入违反物理约束的轨迹（如模拟器或规划系统产生的不完美轨迹）时，模型需生成视觉逼真且符合物理规律的视频。构建过程中的挑战包括：1）领域问题方面，现有模型缺乏对轨迹可行性的物理感知能力，导致在极端场景下产生渲染伪影与结构失效；2）数据构建方面，真实世界数据缺乏安全关键事件（如碰撞），需通过模拟器合成大量物理挑战性场景，并确保多视图数据与真实数据格式对齐，以提供有效的监督信号。

常用场景

经典使用场景

在自动驾驶仿真领域，PhyGenesis数据集主要用于训练和评估物理一致的驾驶视频世界模型。该数据集通过整合真实世界驾驶数据与CARLA模拟器生成的物理挑战性场景，为模型提供了丰富的极端驾驶条件，如碰撞、偏离道路等罕见事件。这使得模型能够在面对由规划系统或模拟器产生的非理想轨迹时，依然生成视觉逼真且物理合理的多视角驾驶视频，从而克服了传统方法在物理不一致轨迹条件下易产生失真或伪影的局限。

衍生相关工作

PhyGenesis数据集的提出衍生了一系列关注物理一致驾驶视频生成的相关研究。例如，基于其异构数据训练范式，后续工作如SafeMVDrive和Challenger进一步探索了多视角安全关键场景的合成技术。同时，该数据集的物理条件生成器设计启发了轨迹校正模块在驾驶仿真中的集成，促使如MagicDrive-V2和DiST-4D等模型开始引入物理先验以提升生成质量。这些工作共同推动了驾驶世界模型从视觉保真度向物理可信度的范式转变。

数据集最近研究

最新研究方向

在自动驾驶仿真领域，视频生成模型作为世界模型正成为研究热点，但现有方法在应对具有挑战性或反事实轨迹时，常因物理不一致性而产生严重失真。近期研究聚焦于提升模型在极端场景下的物理一致性生成能力，例如通过构建物理条件生成器将无效轨迹转化为物理可行的车辆运动，并利用异构数据集融合真实驾驶数据与仿真生成的物理挑战性场景进行协同训练。这一方向旨在突破传统模型在碰撞、偏离道路等安全关键事件中的生成瓶颈，为自动驾驶的闭环评估与安全测试提供更可靠的仿真基础，推动世界模型从视觉保真度向物理真实性的跨越。

相关研究论文

• Toward Physically Consistent Driving Video World Models under Challenging Trajectories

  浙江大学; 小米汽车; 香港理工大学; 深圳循环区研究院 · 2026年