UniOcc

UniOcc是一个用于自动驾驶中占用预测和预测的统一框架，集成了多个真实世界（nuScenes、Waymo）和合成（CARLA、OpenCOOD）数据集，支持多领域训练、跨数据集评估和多样化驾驶环境下的鲁棒基准测试。

UniOcc is a unified framework for occupancy prediction and prediction in autonomous driving, which integrates multiple real-world datasets (nuScenes, Waymo) and synthetic datasets (CARLA, OpenCOOD), and supports multi-domain training, cross-dataset evaluation as well as robust benchmarking under diverse driving scenarios.

原始信息汇总

UniOcc数据集概述

数据集简介

UniOcc是一个用于自动驾驶中占据预测和占据流估计的统一框架，整合了多个真实世界（nuScenes、Waymo）和合成（CARLA、OpenCOOD）数据集，支持多领域训练、跨数据集评估和多样化驾驶环境下的鲁棒基准测试。

支持任务

• 占据预测：预测未来3D占据网格
• 占据流估计：提供前后向体素级流场
• 多领域数据集集成：支持nuScenes、Waymo、CARLA等数据集
• 无真实值指标：引入形状和维度合理性检查
• 协同自动驾驶：支持多智能体占据融合和预测

数据集下载

数据集可通过HuggingFace下载，主要包含以下子集：

数据集名称	场景数量	训练实例数	大小(GB)
NuScenes-via-Occ3D-2Hz-mini	10	404	0.6
NuScenes-via-Occ3D-2Hz-train	700	28,130	41.2
Waymo-via-Occ3D-2Hz-mini	10	397	0.84
Waymo-via-Occ3D-2Hz-train	798	31,880	59.5
Carla-2Hz-mini	2	840	1.0
Carla-2Hz-train	11	8,400	9.3

数据集内容

每个数据集包含以下文件：

• scene_infos.pkl：场景元数据
• scene_XXX：单个场景数据目录
• YYY.npz：单个时间步数据文件，包含：
  • occ_label：3D占据网格
  • occ_flow_forward：前向流场
  • occ_flow_backward：后向流场
  • ego_to_world_transformation：坐标变换矩阵
  • cameras：相机参数
  • annotations：对象标注

使用方式

不包含相机图像

python from uniocc_dataset import UniOcc dataset = UniOcc(data_root="datasets/Carla-2Hz-mini", obs_len=8, fut_len=12)

包含相机图像

需额外下载原始数据集（nuScenes、Waymo、OpV2V）并提供路径。

可视化

使用viz.py脚本可视化数据集： shell python viz.py --file_path datasets/NuScenes-via-Occ3D-2Hz-mini/scene-0061/0.npz

引用

bibtex @article{wang2025unioccunifiedbenchmarkoccupancy, title={UniOcc: A Unified Benchmark for Occupancy Forecasting and Prediction in Autonomous Driving}, author={Wang, Yuping and Huang, Xiangyu and Sun, Xiaokang and Yan, Mingxuan and Xing, Shuo and Tu, Zhengzhong and Li, Jiachen}, journal={arXiv preprint arXiv:2406.09246}, year={2025} }

搜集汇总

数据集介绍

构建方式

UniOcc数据集通过整合多个真实世界（如nuScenes、Waymo）与合成（如CARLA、OpenCOOD）自动驾驶数据集，构建了一个统一的3D占据预测基准框架。其采用标准化处理流程，将原始数据转换为包含语义标签的3D占据网格、相机视场掩码及双向体素流场的结构化格式，并通过场景信息文件（scene_infos.pkl）统一管理元数据。该构建方式显著解决了多源数据格式异构性问题，支持跨数据集的无缝评估。

特点

UniOcc的核心特点在于其多任务支持能力，涵盖占据预测、占据流估计及多智能体协同感知等前沿研究方向。数据集提供不同采样频率（2Hz/10Hz）的时空序列，包含动态与静态体素的流场标注，并引入超越传统IoU的生成式评估指标。其模块化设计允许用户灵活选择子数据集组合，而统一的NPZ文件结构确保了数据访问的高效性，特别适合研究复杂驾驶场景下的三维环境建模问题。

使用方法

用户可通过Hugging Face平台按需下载特定子集，利用提供的Python API快速加载数据。数据集支持两种使用模式：仅处理占据网格的基础模式需指定观测与预测序列长度；若需结合原始图像数据，则需额外配置原始数据集路径。可视化工具viz.py可直观展示3D占据及流场，而ConcatDataset接口便于实现多源数据联合训练，为自动驾驶算法的泛化性研究提供便利。

背景与挑战

背景概述

UniOcc数据集由TASL实验室于2025年推出，旨在解决自动驾驶领域中三维占据预测与流场估计的统一基准问题。该数据集整合了nuScenes、Waymo等真实场景数据与CARLA、OpenCOOD等仿真数据，通过标准化格式打破了不同数据集间的壁垒。其核心研究聚焦于多模态传感器融合下的动态场景理解，为占据预测、流场估计等任务提供跨数据集验证平台，显著提升了算法在复杂交通环境中的泛化能力。

当前挑战

在领域问题层面，UniOcc需应对动态场景中三维占据的时空连续性建模挑战，包括遮挡区域推理精度不足、多智能体交互预测不确定性等问题。数据集构建过程中，研究者面临异构数据对齐的难题，需统一不同坐标系下的标注标准；同时处理大规模点云数据时，在存储效率与几何细节保留之间存在显著权衡，10Hz高频数据更对计算资源提出苛刻要求。

常用场景

经典使用场景

在自动驾驶领域，UniOcc数据集为3D占用预测和流估计提供了统一基准。其经典使用场景包括通过历史占用数据或相机输入预测未来3D占用网格，生成详细的3D占用网格，以及估计体素级流场。这些功能使得UniOcc成为评估和比较不同算法性能的理想平台，特别是在多域训练和跨数据集评估中。

实际应用

UniOcc在实际应用中为自动驾驶系统的环境感知和运动规划提供了强大支持。其3D占用预测能力可用于实时障碍物检测和避障，流估计功能则有助于精确建模物体运动轨迹。此外，UniOcc支持多智能体协同驾驶场景，通过融合多车视角数据，显著提升了复杂交通环境下的感知鲁棒性和预测准确性。

衍生相关工作

围绕UniOcc数据集，研究者们已开展多项经典工作。在占用预测方面，基于UniOcc的算法在nuScenes和Waymo数据集上实现了state-of-the-art性能；在流估计领域，UniOcc催生了多篇关于动态场景建模的顶会论文。其统一框架还促进了跨数据集迁移学习的研究，为自动驾驶泛化能力提升提供了新思路。