SO101-Dataset

该数据集使用'LeRobot'创建，包含关于机器人类型、总剧集数、总帧数、任务数和视频数的信息。数据集结构中包括动作、观察状态、正面图像、时间戳以及索引等特征。数据集遵循Apache-2.0许可。

原始信息汇总

SO101-Dataset 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总片段数: 1
• 总帧数: 1240
• 总任务数: 1
• 总视频数: 1
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割:
  • 训练集: 0:1

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测图像 (observation.images.front):
  • 数据类型: video
  • 形状: [720, 1280, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 720
    • 宽度: 1280
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 片段索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

SO101-Dataset作为机器人技术领域的重要数据资源，其构建过程依托LeRobot开源框架实现。数据集采用模块化存储架构，将1240帧时序数据以30fps的采样率组织为1个完整任务片段，通过Parquet格式高效存储动作指令、关节状态及720p视觉观测等多模态数据。技术文档显示数据采集自so101_follower型机器人，其六自由度机械臂的关节位置信息与前端摄像头影像被同步记录，形成时空对齐的多维时间序列。

特点

该数据集最显著的特征在于其严格对齐的多模态数据结构，包含6维浮点型动作向量与相同维度的状态观测，以及1280×720分辨率的三通道视频流。元数据规范显示，每个数据帧均附带精确的时间戳和索引标识，支持按任务、片段、帧三个层级进行快速检索。特别值得注意的是观测数据中机械臂关节角度与视觉信息的高度同步性，为模仿学习与强化学习算法提供了理想的训练素材。

使用方法

使用者可通过解析meta/info.json获取数据组织结构，按照指定路径加载分块存储的Parquet文件。典型应用场景包括加载特定episode_chunk编号对应的数据块，提取action和observation字段进行行为克隆训练。视频数据采用AV1编码存储在独立路径，建议配合OpenCV等库进行帧解析。由于数据集已预置训练集划分，研究者可直接利用1240帧连续数据开展端到端机器人控制算法的验证工作。

背景与挑战

背景概述

SO101-Dataset是由LeRobot项目团队构建的机器人领域专用数据集，专注于机械臂控制与视觉感知的协同研究。该数据集基于Apache-2.0开源协议发布，采用SO101型跟随机器人作为硬件载体，记录了包含6自由度关节位置控制指令、720p高清视觉观测及时间戳标记的多模态交互数据。其核心价值在于为机器人模仿学习与强化学习算法提供了真实世界的动作-观测配对样本，填补了工业机械臂精细化操作任务中高质量训练数据的空白。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，机械臂多关节协同控制与视觉伺服系统存在非线性耦合，要求算法同时处理高维连续动作空间和动态视觉特征；在构建层面，原始传感器数据的时空对齐需要毫米级精度，而720p@30fps视频流与6维关节数据的实时同步存储对硬件系统提出了严苛的吞吐量要求。此外，单一任务场景下仅1240帧的数据规模也限制了模型的泛化能力验证。

常用场景

经典使用场景

在机器人控制领域，SO101-Dataset以其高精度的关节位置数据和同步视频记录，成为研究机械臂运动规划与视觉伺服控制的理想选择。该数据集通过记录SO101跟随型机械臂的六自由度关节运动轨迹及前置摄像头画面，为算法开发提供了多模态的时空对齐数据，特别适合用于验证模仿学习或强化学习框架下的端到端控制策略。

解决学术问题

该数据集有效解决了机器人学中动作-观测对齐的基准测试难题，其包含的精确时间戳和帧索引支持时序依赖性研究，而标准化参数命名则简化了跨平台算法比较。研究者可基于6维关节空间的动作-状态对应关系，深入分析动态系统中的状态估计、运动分解等核心问题，填补了中小型机械臂开源数据缺乏的空白。

衍生相关工作

以该数据集为基础衍生的研究工作主要集中在多模态表征学习方向，包括基于时空注意力机制的轨迹预测模型、结合逆动力学特征的视觉模仿学习框架等。部分团队将其与MuJoCo仿真环境结合，开发出虚实迁移学习管道，相关成果发表于ICRA等机器人顶会。