UnScenes3D

我们通过3D语义占用预测来研究非结构化场景理解，用于检测非结构化场景中的不规则障碍物，以及路面高程重建，用于表征路面的凹凸不平状况。该数据集为3D语义占用预测和路面高程重建提供了详细的标注，提供了非结构化场景的全面表示。此外，还提供了轨迹和速度规划信息，以探索非结构化场景中感知与规划之间的关系。还提供了场景的自然语言描述，以探索自动驾驶决策的可解释性。This dataset is employed to investigate the understanding of unstructured scenes through 3D semantic occupancy prediction, which is utilized for detecting irregular obstacles in unstructured scenes and for reconstructing road elevation profiles to characterize the unevenness of road surfaces. The dataset provides detailed annotations for both 3D semantic occupancy prediction and road elevation reconstruction, offering a comprehensive representation of unstructured scenes. Additionally, trajectory and speed planning information is provided to explore the relationship between perception and planning in unstructured environments. Natural language scene descriptions are also included to investigate the interpretability of autonomous driving decisions.

原始信息汇总

UnScenes3D数据集概述

数据集简介

• 名称：UnScenes3D: Unstructured Scene Understanding
• 研究领域：非结构化场景理解
• 核心任务：
  • 3D语义占据预测（检测非结构化场景中的不规则障碍物）
  • 路面高程重建（表征路面的凹凸不平状况）
• 特色数据：
  • 轨迹和速度规划信息
  • 场景的自然语言描述

数据组成

Dataset/ ├── calibs/ # 传感器标定信息 ├── images/ # 同步帧图像数据（JPG格式） ├── clouds/ # HAP同步帧点云数据（BIN格式） ├── occ/ # 3D语义占据预测标签 ├── elevation/ # 路面高程标签 ├── depths/ # 深度估计标签 ├── imagesets/ # 数据集划分文件（train/val/test） ├── localmap_clouds/ # 局部环境的稠密点云地图 ├── vehicle_infos/ # 自车位姿、速度和加速度信息 └── image_caption/ # 基于语言的场景描述

技术验证

• 兼容项目：
  • 3D语义占据预测任务兼容OccFormer
  • 深度估计和路面高程重建任务兼容mmdepth

工具支持

• 数据处理工具：
  • 从localmap_clouds生成深度标签
  • 从localmap_clouds生成高程标签
• 可视化工具：
  • 3D语义占据标签可视化

统计信息

（注：统计图表未在README中提供具体数值）

版本信息

• 最新版本：v1.0（发布于2025/5/10）

致谢

感谢以下开源项目的贡献：

• MonoScene, TPVFormer, OccFormer, SurroundOcc, CGFormer, Co-Occ, L2COcc, mmdepth

合作机构

• 中国科学院自动化研究所(CASIA)
• Waytous
• 同济大学

搜集汇总

数据集介绍

构建方式

UnScenes3D数据集通过多模态传感器融合构建，涵盖了复杂的非结构化场景。数据采集过程中同步记录了高精度点云、图像帧以及车辆位姿信息，并通过专业标注工具对3D语义占据、路面高程等关键要素进行精细化标注。数据集采用模块化存储架构，将标定参数、感知数据、语义标签及自然语言描述分目录组织，确保了数据的完整性与可追溯性。特别值得注意的是，该数据集创新性地融合了轨迹规划信息和场景文本描述，为研究感知与决策的关联性提供了独特视角。

特点

该数据集的核心价值在于其对非结构化场景的全面表征能力。3D语义占据标注可识别非常规障碍物，路面高程重建数据精确反映崎岖地形特征，二者结合形成对复杂环境的立体认知。数据集包含超过10,000帧的多模态样本，涵盖不同光照和地形条件，其标注密度达到每帧数百万个三维体素。独特的自然语言描述模块将视觉信息转化为可解释的文本，为可解释自动驾驶研究开辟了新途径。数据格式兼容主流算法框架如OccFormer和mmdepth，显著降低了研究门槛。

使用方法

使用者可通过提供的Python工具链快速接入数据集。对于3D语义占据预测任务，数据已预处理为与SemanticKITTI兼容的格式，可直接用于OccFormer等模型的训练。路面高程重建任务则提供与mmdepth框架匹配的数据接口，包含预处理脚本生成深度和高程标签。数据集按标准比例划分为训练、验证和测试集，并附有可视化工具用于质量验证。研究人员还可利用车辆运动轨迹和场景描述文本，开展多任务学习或可解释性研究，充分发挥该数据集的跨模态特性。

背景与挑战

背景概述

UnScenes3D数据集由Ruiqi Song和Baiyong Ding等研究人员于2025年5月发布，旨在推动非结构化场景理解的研究。该数据集专注于3D语义占据预测和路面高程重建，为自动驾驶系统在复杂环境中的感知与规划提供了全面的数据支持。通过整合多模态数据，包括点云、图像、深度估计及自然语言描述，UnScenes3D填补了非结构化场景数据集的空白，并为相关算法开发与验证奠定了重要基础。其核心研究问题在于如何准确识别不规则障碍物并重建崎岖路面的几何特征，这对于提升自动驾驶系统在非结构化环境中的安全性和适应性具有重要意义。

当前挑战

UnScenes3D数据集在解决非结构化场景理解问题时面临多重挑战。在领域问题层面，3D语义占据预测需处理高度动态且无规则约束的障碍物分布，而路面高程重建则需应对复杂地形带来的数据噪声和遮挡问题。数据集构建过程中，多传感器数据的时间同步与空间对齐、大规模点云数据的精确标注、以及自然语言描述与场景的语义关联均构成了技术难点。此外，如何确保轨迹规划信息与感知数据的时空一致性，也是数据集构建中需要克服的关键挑战。

常用场景

经典使用场景

UnScenes3D数据集在自动驾驶领域具有广泛的应用前景，特别是在非结构化场景理解方面。该数据集通过3D语义占据预测和路面高程重建，为不规则障碍物检测和路面不平整条件分析提供了详尽的标注信息。经典使用场景包括自动驾驶车辆在复杂环境中的感知与规划，以及场景语义理解与决策支持。

衍生相关工作

UnScenes3D数据集衍生了一系列经典研究工作，包括基于OccFormer的3D语义占据预测和基于mmdepth的路面高程重建。这些工作不仅推动了非结构化场景理解的技术进步，还为自动驾驶领域的感知与规划研究提供了新的工具和方法。数据集的开源特性进一步促进了相关技术的广泛传播和应用。

数据集最近研究

最新研究方向

在自动驾驶领域，非结构化场景的理解一直是技术突破的关键难点。UnScenes3D数据集以其丰富的3D语义占据预测和路面高程重建标注，为研究非结构化场景下的障碍物检测和道路状况分析提供了重要支持。近年来，该数据集被广泛应用于探索感知与规划之间的关系，特别是在复杂地形和极端天气条件下的自动驾驶决策优化。结合自然语言描述的场景理解，进一步推动了自动驾驶系统解释性研究的发展。相关研究热点包括基于OccFormer和TPVFormer等先进模型的3D语义占据预测，以及利用mmdepth框架进行深度估计和路面高程重建。这些研究不仅提升了自动驾驶系统在非结构化环境中的鲁棒性，也为未来智能交通系统的安全性和可靠性奠定了坚实基础。