STONE Dataset

STONE是一个大规模多模态数据集，专为越野导航和3D可通行性预测设计。其关键特征包括：由全自动标注管道生成的轨迹引导3D可通行性地图；多模态环绕视图感知，包括128通道LiDAR、六个RGB摄像头和三个4D成像雷达；多样化的环境和条件，包括草地、农田、建筑工地、湖泊以及白天和夜间场景；基于地形属性（如坡度、海拔和粗糙度）的几何感知标注；以及用于单模态和多模态基线的体素级3D可通行性预测基准。

STONE is a large-scale multimodal dataset designed for off-road navigation and 3D traversability prediction. Its key features include: trajectory-guided 3D traversability maps generated by a fully automated annotation pipeline; multimodal surround-view perception, including 128-channel LiDAR, six RGB cameras, and three 4D imaging radars; diverse environments and conditions, including grasslands, farmlands, construction sites, lakes, as well as daytime and nighttime scenarios; geometric perception annotations based on terrain attributes such as slope, elevation, and roughness; as well as voxel-level 3D traversability prediction benchmarks for unimodal and multimodal baselines.

原始信息汇总

STONE数据集概述

数据集简介

STONE是一个大规模多模态数据集，专为越野导航和3D可通行性预测而设计。其全称为“A Scalable Multi-Modal Surround-View 3D Traversability Dataset for Off-Road Robot Navigation”。

核心特性

• 轨迹引导的3D可通行性地图：通过全自动标注流程生成。
• 多模态环视感知：包含128通道LiDAR、六个RGB摄像头和三个4D成像雷达。
• 多样化的环境与条件：涵盖草地、农田、建筑工地、湖泊以及白天和夜间场景。
• 基于几何属性的标注：依据坡度、高程和粗糙度等地形属性。
• 体素级3D可通行性预测基准：提供单模态和多模态基线。

机器人平台与传感器配置

平台

• UGV：Bunker Pro
• 操作系统：Ubuntu 22.04
• 框架：ROS 2 Humble

传感器

• 360°旋转LiDAR：1 × Hesai OT128
• 多视角RGB摄像头：6 × Basler ACE2 2A1920-51gcPRO
• 4D成像雷达：3 × Continental ARS 548 RDI
• GNSS/INS：NovAtel PIM222A双天线GNSS/INS
• IMU：EPSON G366P

数据集详情

可通行性类别

数据集包含4个类别：

类别ID	标签
0	自由
1	可通行
2	潜在可通行
3	不可通行

地面真实标签以 labels.npz 文件形式提供。

体素配置

• 体素尺寸：[0.2米, 0.2米, 0.2米]
• 范围：[-25.6米, -25.6米, -2.0米, 25.6米, 25.6米, 4.4米]
• 体积尺寸：[256, 256, 32]

数据结构

• 数据结构遵循 nuScenes 和 Occ3D-nuScenes 的惯例。
• 4D雷达数据以ROS bag格式（.bag） 提供。
• 文件夹层次结构如下： text STONE_Dataset │ ├── gts │ └── [场景名称] │ └── [帧令牌] │ └── labels.npz │ ├── samples │ ├── CAM_BACK │ │ └── n001-2025-08-22-07-14-16+0900__CAM_BACK__1755846856289490.jpg │ ├── CAM_BACK_LEFT │ │ └── ... │ ├── CAM_BACK_RIGHT │ │ └── ... │ ├── CAM_FRONT │ │ └── ... │ ├── CAM_FRONT_LEFT │ │ └── ... │ ├── CAM_FRONT_RIGHT │ │ └── ... │ └── LIDAR_TOP │ └── n001-2025-08-22-07-14-16+0900__LIDAR_TOP__1755846856289490.pcd.bin │ └── v1.0-trainval ├── attribute.json ├── calibrated_sensor.json ├── category.json ├── ego_pose.json ├── instance.json ├── lidarseg.json ├── log.json ├── map.json ├── sample.json ├── sample_annotation.json ├── sample_data.json ├── scene.json ├── sensor.json └── visibility.json

下载信息

STONE数据集将通过Google表单发布。请填写表单以请求访问权限，审核通过后将提供下载链接。

• 数据集：即将推出
• ROS bags：即将推出

许可信息

• STONE数据集采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议（CC BY-NC-ND 4.0） 发布。
• 本仓库中的所有代码均根据Apache License 2.0发布。
• 根据CC BY-NC-ND 4.0许可，该数据集仅可用于非商业性研究目的。使用时必须给予原作者适当的署名。
• 详细许可信息请参考：
  • https://creativecommons.org/licenses/by-nc-nd/4.0/
  • https://www.apache.org/licenses/LICENSE-2.0

引用

如果在研究中使用STONE数据集，请考虑引用我们的论文： bibtex @inproceedings{park2026stone, title={STONE: A Scalable Multi-Modal Surround-View 3D Traversability Dataset for Off-Road Robot Navigation}, author={Park, Konyul and Kim, Daehun and Oh, Jiyong and Yu, Seunghoon and Park, Junseo and Park, Jaehyun and Shin, Hongjae and Cho, Hyungchan and Kim, Jungho and Choi, Jun Won}, booktitle={Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)}, year={2026} }

状态更新

• [2026-03] 开放了STONE数据集GitHub。
• [2026-03] 开放了STONE数据集网站。
• [2026-02] 论文已被ICRA 2026接收。
• [2026] 最终数据集将发布。

搜集汇总

数据集介绍

构建方式

在野外机器人导航领域，STONE数据集通过一套高度自动化的标注流程构建而成。该流程以轨迹引导的方式生成三维可通行性地图，并整合了多模态环绕感知系统，包括128通道激光雷达、六台RGB相机以及三台四维成像雷达。数据采集平台采用Bunker Pro无人地面车辆，在多样化的非结构化环境中进行，涵盖草地、农田、建筑工地及湖泊等多种地形，同时兼顾昼夜不同光照条件。几何感知标注方法依据地形坡度、高程及粗糙度等属性，确保了标注的精确性与物理一致性。

特点

STONE数据集的核心特点在于其大规模、多模态与精细的三维可通行性标注。数据集提供了体素级别的四分类地面真值，涵盖自由、可通行、潜在可通行与不可通行区域，体素分辨率为0.2米，空间范围达51.2米×51.2米×6.4米。其多模态感知套件实现了360度环境覆盖，融合了高精度激光点云、多视角视觉图像与新兴的四维雷达数据。数据集结构遵循nuScenes等业界标准，确保了良好的兼容性与易用性，并为单模态与多模态的三维可通行性预测任务设立了基准。

使用方法

研究人员可通过官方渠道申请获取STONE数据集，数据以分场景和帧的形式组织。地面真值以labels.npz文件格式提供，可直接用于体素网格的监督学习。多模态数据中，图像与激光雷达数据以标准文件格式存储，而四维雷达数据则提供ROS bag格式以供灵活处理。数据集附带完整的元数据JSON文件，描述了传感器标定、位姿、场景划分等信息，便于进行数据加载、对齐与模型训练。该数据集专为非商业研究设计，适用于开发与评估在复杂野外环境中进行三维场景理解与导航决策的算法。

背景与挑战

背景概述

在机器人导航领域，越野环境下的三维可通行性预测是提升自主移动机器人适应复杂地形能力的关键研究方向。STONE数据集由Konyul Park、Jun Won Choi等研究人员于2026年创建，旨在为越野机器人导航提供大规模多模态环视三维可通行性数据。该数据集通过集成128通道激光雷达、六台RGB相机及三台4D成像雷达，构建了涵盖草地、农田、建筑工地及湖泊等多种场景的感知系统，其核心研究问题聚焦于利用多模态传感器数据实现体素级三维可通行性精确标注与预测。STONE的发布为越野导航算法的发展提供了重要的基准数据，推动了机器人自主性与环境交互能力的进步。

当前挑战

STONE数据集致力于解决越野环境中三维可通行性预测的挑战，其核心在于准确识别复杂地形下的安全通行区域，这要求算法能够融合多模态传感器数据以应对光照变化、植被遮挡及地形起伏等干扰因素。在数据集构建过程中，研究人员面临自动化标注流程的设计难题，需基于轨迹信息生成几何感知的标签，同时确保多传感器数据在时空上的精确同步与校准。此外，大规模数据采集涉及多样化的环境条件，如昼夜场景切换，增加了数据一致性与标注质量的维护难度。

常用场景

经典使用场景

在野外机器人导航领域，STONE数据集为三维可通行性预测提供了关键基准。其经典使用场景集中于利用多模态感知数据，如128通道激光雷达、六台RGB相机及三台4D成像雷达，构建机器人周围环境的体素级三维地图。研究人员通过该数据集训练深度学习模型，以预测复杂地形中每个体素的可通行性类别，从而为自主导航系统提供精确的环境理解。这一场景不仅涵盖了草地、农田、建筑工地等多种非结构化环境，还包含昼夜不同光照条件，确保了模型在真实世界中的鲁棒性评估。

衍生相关工作

STONE数据集已衍生出多项经典研究工作，特别是在多模态三维感知与导航算法领域。其数据结构和标注格式借鉴了nuScenes和Occ3D-nuScenes等知名数据集，促进了跨数据集基准比较与模型迁移。基于STONE，研究者开发了单模态与多模态基线模型，用于体素级可通行性预测任务，推动了激光雷达、相机与雷达数据融合技术的进步。这些工作不仅扩展了野外导航的算法边界，还为后续研究提供了可复现的实验框架，加速了机器人自主系统在复杂环境中的实际部署。

数据集最近研究

最新研究方向

在野外机器人导航领域，三维可通行性预测正成为提升自主系统环境感知能力的关键。STONE数据集凭借其多模态环视传感与体素级标注，为这一方向注入了新的活力。当前研究聚焦于融合激光雷达、相机与4D成像雷达数据，以构建更鲁棒且精细的三维可通行地图，尤其在复杂非结构化地形中。该数据集推动了基于几何地形属性的自动化标注流程发展，并为多模态感知模型提供了基准测试平台，相关成果已入选ICRA 2026，预示着其在农业、勘探与救援等实际应用中的深远潜力。