so100

该数据集使用LeRobot创建，专注于机器人学任务，特别是堆叠积木的操作。它包含了多种特征，如动作、观察状态、手腕图像、时间戳、帧索引、集索引、索引和任务索引。数据集总共包含2个视频，每个视频有287帧，分为1个块，每个块大小为1000。数据以Parquet格式存储，视频以AV1编解码器的YUV420P像素格式存储，没有音频。数据集遵循Apache-2.0许可证。

This dataset is developed using LeRobot, targeting robotics tasks, specifically block stacking manipulation. It includes multiple features: actions, observations, wrist images, timestamps, frame indices, set indices, indices, and task indices. The dataset contains a total of 2 videos, each with 287 frames, and is divided into 1 chunk with a size of 1000. The structured data is stored in Parquet format, while the videos are stored in YUV420P pixel format with the AV1 codec and have no audio tracks. The dataset is released under the Apache-2.0 license.

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，so100数据集通过LeRobot平台精心构建而成。该数据集采用模块化存储架构，将1607帧数据划分为5个完整情节，以30fps的采样率记录机械臂的六维关节空间动作与状态信息。数据以Parquet格式分块存储，每块包含1000帧，同时配套保存了480×640分辨率的前视和腕部摄像头视频流，采用AV1编解码器确保视频质量与存储效率的平衡。

特点

该数据集聚焦于"将黑色胶带移入盒子"这一典型机器人操作任务，其核心价值在于多维异构数据的同步采集。动作空间涵盖肩部平移、肩部抬升、肘部屈伸、腕部屈伸、腕部旋转及夹持器开合六自由度控制指令，观测空间则同步提供关节状态反馈和双视角视觉信息。视频数据采用YUV420p像素格式存储，既保留了RGB三通道色彩信息，又通过帧索引和时间戳实现了与动作数据的精确对齐。

使用方法

研究者可通过HuggingFace平台直接获取该数据集，其标准化Parquet格式兼容主流数据处理框架。使用时需注意数据分块逻辑，按照chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet路径结构加载特定情节。视频数据与动作状态的时序对齐依赖frame_index和timestamp字段，建议采用pandas或PyArrow进行高效读取。该数据集特别适合机器人模仿学习算法的训练与验证，其多模态特性支持端到端控制策略的开发。

背景与挑战

背景概述

so100数据集是机器人操作领域的一项新兴资源，由LeRobot团队基于开源机器人平台构建。该数据集聚焦于机械臂操作任务，核心研究问题在于如何通过视觉与关节状态数据的融合，实现精准的物体操控——具体表现为将黑色胶带移入指定容器的任务场景。数据集采用Apache 2.0开源协议，包含5个完整操作序列、1607帧多模态数据，同步记录六自由度机械臂的关节角度、夹爪状态及双视角视觉信息，为模仿学习与强化学习算法提供了高精度时空对齐的基准数据。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，机械臂的精确位姿控制需要解决高维连续动作空间与视觉感知的实时映射难题，特别是当操作对象存在非刚性形变时的动态适应性。数据构建过程中，多传感器时序同步精度需控制在毫秒级，双视角视频流与关节状态数据的严格对齐对采集系统提出苛刻要求。此外，当前数据规模仅覆盖单一任务场景，样本多样性不足可能限制模型的泛化能力，如何扩展任务复杂度与数据量成为亟待突破的瓶颈。

常用场景

经典使用场景

在机器人控制领域，so100数据集以其精细的机械臂动作记录和多视角视频数据，成为研究机器人任务执行与动作规划的经典资源。该数据集特别适用于模拟和测试机械臂在特定任务中的表现，如将黑色胶带移动至指定盒子的操作。通过提供高精度的关节位置数据和同步的视频记录，研究者能够深入分析机械臂的运动轨迹与环境交互的动态过程。

实际应用

在实际应用中，so100数据集被广泛用于工业自动化与智能机器人系统的开发。例如，在仓储物流中，机械臂的分拣与搬运任务可以借助该数据集进行模拟训练，优化动作规划的准确性与效率。此外，数据集中的多视角视频数据也为计算机视觉算法的开发提供了丰富素材，用于提升机器人在动态环境中的感知能力。

衍生相关工作

基于so100数据集，研究者们已衍生出一系列经典工作，包括机器人动作规划的强化学习算法、多模态感知模型的开发以及任务执行中的动态环境适应策略。这些工作不仅扩展了数据集的应用范围，还为机器人控制与感知的跨领域研究提供了新的思路和方法，进一步推动了智能机器人技术的发展。