spot-telluride-workshop-dataset

Spot Telluride Workshop数据集是一个多模态机器人传感器数据集，包含从Boston Dynamics Spot D02机器人在课堂演示中收集的数据，这些数据从ROS包中提取，专为Telluride神经形态与AI研讨会准备。数据集包含9个独立的配置，涵盖多种传感器模态：Intel RealSense D455的RGB图像（约2,479帧）和深度图像（约2,478帧）、Spot机器人前左和前右RGB摄像头图像（各约743帧）、水平Ouster激光雷达的点云数据（约1,655帧，20Hz，每帧65,536个点，包含x、y、z、强度和环索引字段）、2D占据栅格地图快照（约830帧）、OctoMap二进制快照（约911帧），以及两种里程计数据流——基于LIO-SAM（激光雷达+IMU融合，约6Hz，500个位姿）和IMU预积分（约500Hz，41,360个位姿）的位姿估计。数据集强调不同模态间的时间同步性有限，需通过timestamp_ns字段进行近似对齐。该数据集适用于机器人定位与建图（SLAM）、传感器融合、运动规划、控制算法开发以及多模态感知研究。The Spot Telluride Workshop dataset is a multimodal robot sensor dataset containing data collected from a Boston Dynamics Spot D02 robot during classroom demonstrations, extracted from ROS packages, and specifically prepared for the Telluride Neuromorphic and AI Workshop. The dataset includes 9 independent configurations, covering multiple sensor modalities: RGB images (approximately 2,479 frames) and depth images (approximately 2,478 frames) from an Intel RealSense D455, front-left and front-right RGB camera images from the Spot robot (each approximately 743 frames), point cloud data from a horizontal Ouster LiDAR (approximately 1,655 frames, 20Hz, with each frame containing 65,536 points, including x, y, z, intensity, and ring index fields), 2D occupancy grid map snapshots (approximately 830 frames), OctoMap binary snapshots (approximately 911 frames), and two odometry data streams—pose estimates based on LIO-SAM (LiDAR + IMU fusion, approximately 6Hz, 500 poses) and IMU pre-integration (approximately 500Hz, 41,360 poses). The dataset emphasizes limited temporal synchronization between different modalities, requiring approximate alignment via the timestamp_ns field. It is suitable for research in robot localization and mapping (SLAM), sensor fusion, motion planning, control algorithm development, and multimodal perception.

原始信息汇总

数据集概述：Spot Telluride Workshop Dataset

该数据集包含来自 波士顿动力 Spot D02 机器人在教室演示中记录的多模态传感器数据，数据从 ROS bag 中提取，专为 Telluride 神经形态与人工智能研讨会准备。

• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 语言: 英语
• 标签: spot, boston-dynamics, ros, lidar, multimodal, mobile-robot, telluride
• 数据规模: 1,000 < n < 10,000 (总样本数)
• 机器人平台: Spot D02 (Marble 背包计算单元)
• 采集地点: 教室
• 运行编号: run1
• 提取工具: extract_demo_data.py (位于 GitHub 仓库 arpg/ARPG 中)
• 重要说明: 不同模态的数据配置未进行时间同步（传感器频率不同）。仅能通过 timestamp_ns 字段进行近似时间对齐。

数据集结构

数据集包含 9 个配置（Config），每个配置代表一种数据模态，存储在 Hugging Face Hub 的对应目录下。

配置名称	描述	样本数量 (约)	主要字段
rgb_d455	Intel RealSense D455 彩色图像及相机内参	2,478	frame_idx, timestamp_ns, image (图像), camera_info (JSON字符串)
depth_d455	D455 深度图 (16位 PNG, 已对齐到彩色图)	2,478	frame_idx, timestamp_ns, depth (图像)
rgb_spot_frontleft	Spot 左前 RGB 图像及内参	742	frame_idx, timestamp_ns, image, camera_info (JSON字符串)
rgb_spot_frontright	Spot 右前 RGB 图像及内参	742	frame_idx, timestamp_ns, image, camera_info (JSON字符串)
pointclouds	水平 Ouster 激光雷达点云 (ASCII PCD 格式, 包含 XYZ + 强度 + 环)	1,655	frame_idx, timestamp_ns, pcd_bytes (二进制PCD文件内容)
occupancy_grid	2D 占用网格地图快照 (PNG 格式)	828	timestamp_ns, map_snapshot (图像)
octomap	OctoMap 二进制快照 (.bt 文件)	911	timestamp_ns, octomap_bt (大型二进制数据)
odometry_lio_sam	由 LIO-SAM 优化的 SLAM 位姿 (激光雷达 + IMU)	496	timestamp_ns, x, y, z, qx, qy, qz, qw (位置 + 四元数)
odometry_imu	高频 IMU 预积分位姿	41,360	timestamp_ns, x, y, z, qx, qy, qz, qw (位置 + 四元数)

核心传感器与数据特性

激光雷达 (LiDAR) 传感器规格

• 传感器: 水平 Ouster 激光雷达
• 工作模式: 1024x20 (20 Hz 转速, 每圈 1024 列)
• 垂直通道: 64 环 (环索引 0–63)
• 单帧点数: 65,536 点 (64 x 1024)
• 每个点的字段: x, y, z (float32), intensity (float32), ring (uint16)
• 时间戳: 基于 PTP 1588 协议 (主时钟为 NUC 的 enp1s0 接口)
• 数据时长: 约 83 秒 (1,655 帧 ÷ 20 Hz)

里程计 (Odometry) 数据流

特性	odometry_lio_sam	odometry_imu
ROS 话题	/D02/lio_sam/mapping/odometry	/D02/odometry/imu
数据源	LIO-SAM SLAM 后端 (融合 Ouster 激光雷达 + IMU)	IMU 预积分前端 (惯性测量积分)
频率	约 6 Hz	约 500 Hz
典型用途	全局轨迹、地图对齐、与点云/地图同步	短时运动估计、高频速度计算、插值
使用建议	绘制轨迹、定位、与地图产品联合使用	需要高时间分辨率的帧间运动、速度估计

关键区别: LIO-SAM 通过激光雷达结构校正漂移，提供全局一致性；IMU 预积分提供高密度时间序列但会随时间漂移。两者不可互换，应根据需求选择。

加载与使用示例 (Python)

使用 datasets 库加载数据：

python from datasets import load_dataset import numpy as np

repo = "lorinachey/spot-telluride-workshop-dataset"

加载 RGB 图像

rgb = load_dataset(repo, "rgb_spot_frontleft", split="train") print(rgb[0]["timestamp_ns"]) rgb[0]["image"].show()

加载深度图

depth = load_dataset(repo, "depth_d455", split="train")

加载点云

pcd = load_dataset(repo, "pointclouds", split="train") print(f"{len(pcd)} 帧")

解析 PCD 字节数据为 NumPy 数组

def parse_pcd(pcd_bytes: bytes) -> np.ndarray: lines = pcd_bytes.decode().splitlines() data_start = next(i for i, l in enumerate(lines) if l.startswith("DATA")) + 1 return np.array([list(map(float, l.split())) for l in lines[data_start:] if l.strip()], dtype=np.float32) cloud = parse_pcd(pcd[0]["pcd_bytes"]) xyz = cloud[:, :3] # 坐标 intensity = cloud[:, 3] # 强度 ring = cloud[:, 4].astype(np.uint16) # 环号

加载里程计数据

odom_lio_sam = load_dataset(repo, "odometry_lio_sam", split="train") odom_imu = load_dataset(repo, "odometry_imu", split="train")

文件名约定

提取帧的命名格式为: frame_<索引>_<时间戳纳秒>.{jpg,png,pcd}。

引用信息

使用该数据集时，请引用 ARPG Spot Telluride 研讨会数据集并链接到 Hugging Face 页面。

许可协议

Apache 2.0 (数据集打包)。机器人数据是为研究和教育目的在 Telluride 研讨会上收集的。

搜集汇总

数据集介绍

构建方式

该数据集源自波士顿动力Spot D02机器人在Telluride神经形态与人工智能工作坊上的课堂演示，通过从ROS bag文件中提取多模态传感器数据而构建。数据采集涵盖了Intel RealSense D455深度与彩色相机、Spot前置立体相机、水平Ouster激光雷达以及IMU里程计等多种传感器。提取工具为`extract_demo_data.py`，将原始ROS话题消息转换为结构化的数据集配置，包括点云、占用网格、八叉树地图以及两种不同频率的里程计数据，为机器人感知研究提供了丰富的时序数据源。

特点

数据集以多模态、多配置的架构展现其独特性，共包含九个独立配置，分别对应深度图、彩色图、点云、占用网格、八叉树地图以及来自IMU预积分和LIO-SAM的里程计数据。值得注意的是，各模态之间在时间上并未严格同步，需通过时间戳进行近似对齐。此外，激光雷达采用1024×20模式以20Hz频率采集每秒65,536个点，提供了高时空分辨率的点云流。两种里程计流分别服务于全局轨迹与高频短程运动分析，展现了从控制到建图的多层次应用潜力。

使用方法

用户可通过HuggingFace的`datasets`库便捷地加载各配置，例如使用`load_dataset("lorinachey/spot-telluride-workshop-dataset", "rgb_d455", split="train")`获取RGB图像。点云数据以ASCII PCD格式的字节流存储，可保存为文件供Open3D等工具解析，或通过自定义函数解析为numpy数组以提取三维坐标、强度与环号。对于里程计数据，推荐根据任务选择：定位与地图对齐使用`odometry_lio_sam`，而高频运动分析则使用`odometry_imu`。所有配置均提供直接访问时间戳、图像及标定信息的接口，便于快速集成于SLAM、导航与运动规划等研究流程中。

背景与挑战

背景概述

在移动机器人与自主导航领域，多模态传感器数据的获取与融合对于环境感知与鲁棒定位至关重要。Spot Telluride Workshop Dataset由波士顿动力公司的Spot D02机器人在Telluride神经形态与人工智能研讨会期间采集，于2023年发布，主要研究人员来自ARPG研究组。该数据集涵盖了Intel RealSense D455深度相机、Ouster激光雷达、IMU里程计及二维与三维占据网格等多模态数据，旨在为移动机器人在教室环境中的演示与算法评估提供标准化基准。其开源特性与Apache 2.0许可促进了机器人社区在同步定位与建图、路径规划及多传感器融合等方向的研究进展，成为验证SLAM与感知算法的重要资源。

当前挑战

该数据集所解决的领域挑战在于多模态异构传感器数据的时空对齐与融合问题，尤其是在非时间同步的传感器流中实现精确的姿态估计与地图构建。构建过程中面临的主要挑战包括：不同传感器采样率差异巨大，如IMU的500 Hz与激光雷达的20 Hz，导致时间戳对齐仅能近似实现；激光雷达点云数据量庞大（约83秒内产生1655帧），对存储与处理效率提出高要求；SLAM后处理的里程计与IMU预积分里程计之间存在漂移与帧原点不一致，增加了轨迹一致性验证的难度。此外，从ROS bag中高效提取并标准化数据格式，同时保留所有原始传感器细节，亦是一大技术难点。

常用场景

经典使用场景

该数据集为多模态移动机器人研究提供了宝贵的实验素材，尤其适用于验证和评估四足机器人在非结构化室内环境中的自主导航与感知能力。数据源自Boston Dynamics Spot D02机器人在教室场景下的真实演示运行，集成了Intel RealSense D455深度相机、Ouster激光雷达以及高频率IMU等多种传感器信息。研究者可借此对同步定位与建图（SLAM）、点云配准、障碍物检测与避障等核心算法进行基准测试，是移动机器人感知领域不可多得的实战级数据资源。

实际应用

在实际应用中，该数据集可直接服务于自主机器人的部署优化，如通过深度图像与点云数据训练障碍物识别模型，借助占用网格和OctoMap快照评估空间表示效率，进而提升机器人在工厂巡检、仓储物流、教育演示等典型场景下的环境适应能力。其包含的RGB图像还支持基于视觉的语义分割与目标追踪任务，为构建端到端的机器人行为决策系统提供多模态训练基础。

衍生相关工作

围绕该数据集，衍生了一系列面向四足机器人感知系统的经典工作。研究者利用其点云与IMU数据开发了基于深度学习的点云补全网络和时空注意力模型，实现更精准的连续帧配准；占用网格与OctoMap快照则推动了动态环境下的增量式地图更新算法研究。此外，数据集中不同传感器之间的时间异步特性激发了多模态融合对齐方法的工作，如引入可微分时空同步层或基于Transformer的跨模态特征关联，显著提升了复杂环境下的感知一致性。