so100_pick_lego1

这是一个用于机器人任务的数据集，包含了10个episodes，共3731帧，分为4个任务，20个视频文件。数据集的特征包括机器人的动作、状态、左腕图像和前视图像等。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot, so100, tutorial
• 代码库版本: v2.1
• 机器人类型: so100

数据集结构

• 总集数: 10
• 总帧数: 3731
• 总任务数: 4
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:10)

数据文件

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作 (Action)

• 数据类型: float32
• 形状: [6]
• 名称:
  • left_shoulder_pan
  • left_shoulder_lift
  • left_elbow_flex
  • left_wrist_flex
  • left_wrist_roll
  • left_gripper

观察状态 (Observation.State)

• 数据类型: float32
• 形状: [14]
• 名称:
  • left_shoulder_pan
  • left_shoulder_lift
  • left_elbow_flex
  • left_wrist_flex
  • left_wrist_roll
  • left_gripper
  • pick_y1, pick_x1, pick_y2, pick_x2
  • place_y1, place_x1, place_y2, place_x2

观察图像 (Observation.Images)

左腕图像 (Left Wrist)

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 fps
  • 通道数: 3
  • 无音频

前视图像 (Front)

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息: 同左腕图像

其他特征

• 时间戳 (Timestamp): float32, 形状 [1]
• 帧索引 (Frame Index): int64, 形状 [1]
• 集索引 (Episode Index): int64, 形状 [1]
• 索引 (Index): int64, 形状 [1]
• 任务索引 (Task Index): int64, 形状 [1]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，so100_pick_lego1数据集通过LeRobot框架系统性地采集了真实环境下的机械臂抓取任务数据。该数据集包含10个完整操作序列，总计3731帧视频数据，以30fps的帧率记录了SO100型机械臂执行乐高积木抓取任务的动态过程。数据以分块存储的Parquet格式组织，每个数据块包含多组动作指令、关节状态观测值以及双视角视觉信息，完整呈现了从任务初始化到目标达成的闭环交互记录。

特点

该数据集的核心特征体现在其多模态数据结构的精心设计上，同步采集了6自由度机械臂动作向量、14维状态观测值以及双摄像头视角的高清视频流。动作空间完整覆盖肩部平移、肘部屈伸至腕部旋转的全关节控制参数，状态观测则融合了机械臂本体姿态与目标物体的空间坐标信息。视觉数据采用480×640分辨率的RGB视频流，通过左腕摄像头和前置摄像头分别提供操作末端视角与环境全局视角，为模仿学习算法提供丰富的时空上下文信息。

使用方法

研究者可通过LeRobot代码库加载该数据集，利用其标准化的数据接口直接访问分块存储的交互序列。每个数据块包含按时间戳对齐的多模态数据流，包括动作指令、关节状态、视觉帧等关键要素。数据集已预划分为训练集，支持端到端的策略学习任务，用户可基于帧索引和回合索引快速构建训练样本，实现从原始传感器数据到控制指令的映射建模。视频数据采用AV1编码压缩，在保证视觉质量的同时优化存储效率，适合大规模分布式训练场景。

背景与挑战

背景概述

在机器人操作学习领域，仿真环境与真实世界之间的鸿沟一直是研究的关键难点。so100_pick_lego1数据集作为LeRobot项目的重要组成部分，专注于解决机器人抓取与放置任务中的技能泛化问题。该数据集通过采集SO100型机器人执行乐高积木操作的多模态数据，为模仿学习与强化学习算法提供了丰富的训练资源。其设计融合了关节动作、视觉观测与任务坐标等多维度信息，旨在推动机器人操作策略从仿真到实物的无缝迁移。

当前挑战

该数据集针对机器人操作任务中动态环境适应性与动作精度控制的挑战，需解决多视角视觉信息与机械臂运动轨迹的时空对齐问题。在构建过程中，面临传感器数据同步精度、多模态特征一致性标注以及大规模视频数据压缩存储等技术难点。此外，真实场景下光照变化与物体位姿不确定性对数据质量的干扰，亦对数据采集流程的鲁棒性提出了更高要求。

常用场景

经典使用场景

在机器人操作学习领域，so100_pick_lego1数据集为机械臂抓取任务提供了丰富的多模态数据支持。该数据集通过记录SO100机器人执行乐高积木抓取动作的过程，包含关节角度、夹爪状态以及前视和腕部摄像头采集的图像序列。这些数据能够有效训练机器人模仿学习算法，使机械臂能够精准识别目标物体并完成抓取动作。数据集的结构化设计便于研究者提取关键特征，为机器人操作技能的自动化学习奠定基础。

解决学术问题

该数据集主要解决了机器人模仿学习中动作轨迹生成与视觉感知融合的学术难题。通过提供完整的动作-观测序列，研究者可以深入分析机械臂运动规划与视觉反馈的关联机制。数据集包含的坐标标注信息为研究空间定位问题提供了基准，其多模态特性有助于突破传统方法在动态环境适应性方面的局限。这些数据为验证端到端学习模型的泛化能力提供了重要依据，推动了机器人自主操作理论的发展。

衍生相关工作

围绕该数据集衍生的经典研究包括基于深度强化学习的抓取策略优化工作。许多研究者利用其多模态特性开发了融合视觉与运动信息的神经网络架构，如时空注意力机制在动作预测中的应用。这些工作进一步拓展了数据集的用途，催生了针对部分可观测场景的模仿学习算法改进。相关成果已被应用于开发开源机器人学习框架，形成了从数据采集到算法验证的完整研究生态。