harpreetsahota/STONE

STONE是一个大规模多模态数据集，专为越野环境下的3D可通行性预测而设计。该数据集由自主地面车辆（UGV）在韩国的四个户外环境中收集而成，遵循nuScenes格式。它提供了7000个关键帧，包含来自6个摄像头的环绕视图图像（分辨率为1904×1200）、128通道LiDAR扫描（约230,000个点）以及体素级可通行性注释，将地形分类为自由、可通行、潜在可通行和不可通行区域。此外，数据集还包括3D障碍物边界框、自我姿态轨迹以及以约10 Hz频率同步的多传感器数据。此FiftyOne版本是从完整的279个场景集合中分层采样的35个场景（每个场景200帧）组成，组织为分组样本，每个关键帧包含7个切片（6个摄像头和1个LiDAR 3D场景）。数据集支持图像分类和对象检测任务，适用于自动驾驶和机器人导航研究。

STONE is a large-scale multimodal dataset specifically designed for 3D traversability prediction in off-road environments. Collected by unmanned ground vehicles (UGVs) in four outdoor environments across South Korea, it follows the nuScenes data format. The dataset provides 7000 key frames, including surround-view images from 6 cameras with a resolution of 1904×1200, 128-channel LiDAR scans (approximately 230,000 points per scan), and voxel-level traversability annotations that categorize terrain into free, traversable, potentially traversable, and non-traversable regions. Additionally, it includes 3D obstacle bounding boxes, ego-pose trajectories, and multi-sensor data synchronized at a frequency of approximately 10 Hz. This FiftyOne iteration consists of 35 scenes (200 frames per scene) that are hierarchically sampled from the complete 279-scene collection, organized as grouped samples, with each key frame containing 7 slices: 6 camera views and 1 LiDAR 3D scene. The dataset supports image classification and object detection tasks, and is applicable to research in autonomous driving and robotic navigation.

搜集汇总

数据集介绍

构建方式

STONE数据集由自主地面车辆在韩国四个户外环境中采集，提供7000个关键帧，每个关键帧包含来自6个摄像头（1904×1200分辨率）的环绕视图图像、128线激光雷达扫描（23万点）以及体素级可通行性标注。数据集遵循nuScenes格式，将地形划分为自由、可通行、潜在可通行和不可通行四类。本FiftyOne版本从完整的279个场景中按分层抽样选取了35个场景（每场景200帧），每个关键帧组织为包含7个切片（6个摄像头和1个激光雷达3D场景）的分组样本。

使用方法

使用STONE数据集首先需安装FiftyOne库（pip install -U fiftyone），随后通过fiftyone.utils.huggingface模块的load_from_hub函数直接加载数据集（dataset = load_from_hub("Voxel51/STONE")）。加载完成后，可使用FiftyOne的App接口（fo.launch_app(dataset)）进行交互式浏览与分析。数据集支持常见的图像分类和目标检测任务，用户可通过指定max_samples等参数灵活控制加载规模，并利用FiftyOne提供的丰富API进行数据筛选、标注可视化和模型评估。

背景与挑战

背景概述

STONE数据集由韩国多个研究机构在ICRA 2026会议上提出，旨在解决非结构化越野环境中无人地面车辆的三维可通行性预测问题。该数据集由七千个关键帧构成，涵盖四类不同户外场景，配备六视角环绕影像与128线激光雷达点云，并以体素级标注将地形划分为自由、可通行、潜在可通行与不可通行四类。STONE延续nuScenes格式规范，同步提供三维障碍物边界框与自车位姿轨迹，为越野导航领域构建了迄今为止最全面的多模态基准，显著推动了非结构化环境感知与通行性分析的研究进展。

当前挑战

越野环境中的可通行性预测面临多重挑战：地形类别高度多变且缺乏清晰边界，陡坡、植被与松散土壤可能被误判为可通行区域。多传感器融合中的时空校准困难，六相机与激光雷达在不同光照、天气条件下的可靠性差异显著。标注过程本身极具难度，体素级标注需要精确融合三维几何与语义信息，跨场景一致性难以保障。此外，数据采集车在复杂地形中的作业安全性限制了场景覆盖范围，使模型对极端地形的泛化能力受到约束。

常用场景

经典使用场景

STONE数据集专为越野环境下的3D可通行性预测任务而设计，其最经典的使用场景是作为多模态感知模型的训练与评测基准。研究人员可借助该数据集提供的环绕视图图像（来自6个摄像头）、128线激光雷达点云以及体素级可通行性标注，构建端到端或模块化的可通行性分析模型。通过融合视觉与几何信息，模型能够对地形进行四分类（自由、可通行、潜在可通行、不可通行），从而在复杂非结构化环境中实现稳健的自主导航决策。该数据集遵循nuScenes格式，便于直接应用于现有自动驾驶框架，降低了数据预处理的门槛。

解决学术问题

该数据集有效解决了越野场景下三维可通行性预测领域标注数据匮乏的关键瓶颈。在学术研究中，STONE为多传感器融合、语义地形分类、以及自监督与弱监督学习方法提供了标准化的验证平台。通过提供精细的体素级标注和多样化的户外环境（湖滨、农田、开阔地等），它使得研究者能够定量评估不同模型在复杂地形中的泛化能力。其意义在于推动了无人地面车辆（UGV）在非铺装道路上的场景理解研究，为鲁棒导航算法的开发奠定了数据基础。

实际应用

在实际应用层面，STONE数据集所驱动的技术可直接服务于农业机器人、矿山勘探车辆、应急救援无人车以及军事巡逻机器人的自主导航系统。基于该数据集训练的模型能够实时分析前方地形的可通行程度，从而在无预先地图的环境中规划安全路径。例如，在农业自动化中，机器人可穿越农田并识别湿软区域；在灾害救援中，无人车能评估废墟或泥泞地段的通过性。这些应用显著提升了UGV在复杂户外环境中的作业效率和安全性，减少了人为干预的需求。

数据集最近研究

最新研究方向

STONE数据集的出现为自主地面车辆在复杂非结构化环境中的3D可穿越性预测提供了关键的多模态支撑，其环绕视图图像、128线激光雷达点云与体素级标注的深度融合，正推动着机器人导航领域从结构化道路向越野地形的范式迁移。尤其在ICRA 2026最新研究中，该数据集凭借细粒度的四类可穿越性划分（自由、可穿越、潜在可穿越、不可穿越），结合3D障碍物边界框与未来轨迹投影，成为评估与训练多模态感知模型的前沿基准。当前热点聚焦于如何利用STONE的35个场景、7000关键帧的时序一致性与nuScenes兼容格式，开发更具鲁棒性的颠簸路面通行决策算法，显著提升了户外机器人对岩石、植被等复杂地形的适应性，为灾害救援、行星探测等极端环境下的自主导航奠定了实证基础。