so101_pick_place

该数据集是一个机器人相关的数据集，使用LeRobot创建。包含20个episodes，5145帧数据，30fps的视频。数据集提供了机器人的动作和状态观测数据，包括来自手腕和前方的图像观测，以及机器人的关节位置信息（肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹持器位置）。

This is a robotics dataset developed using LeRobot. It consists of 20 episodes, 5145 frames of data, with videos recorded at 30 frames per second (fps). The dataset provides robotic motion and state observation data, including image observations from the wrist and front-facing perspectives, as well as the robot's joint position information: shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation and gripper position.

原始信息汇总

数据集概述

基本信息

• 名称: so101_pick_place
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot

数据集描述

• 创建工具: 使用 LeRobot 创建
• 主页: 未提供
• 论文: 未提供

数据集结构

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 20
• 总帧数: 5145
• 总任务数: 1
• 总视频数: 40
• 总块数: 1
• 块大小: 1000
• 帧率 (FPS): 30
• 数据分割:
  • 训练集: 0:20

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. 动作 (action):

   • 数据类型: float32
   • 形状: [6]
   • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

2. 观测状态 (observation.state):

   • 数据类型: float32
   • 形状: [6]
   • 名称: 同动作特征

3. 观测图像 (observation.images.wrist):

   • 数据类型: 视频
   • 形状: [480, 640, 3]
   • 名称: height, width, channels
   • 视频信息:
     • 高度: 480
     • 宽度: 640
     • 编解码器: av1
     • 像素格式: yuv420p
     • 非深度图
     • 帧率: 30
     • 通道数: 3
     • 无音频

4. 观测图像 (observation.images.front):

   • 数据类型: 视频
   • 形状: [480, 640, 3]
   • 名称: height, width, channels
   • 视频信息: 同 wrist 图像

5. 其他特征:

   • timestamp: float32, 形状 [1]
   • frame_index: int64, 形状 [1]
   • episode_index: int64, 形状 [1]
   • index: int64, 形状 [1]
   • task_index: int64, 形状 [1]

引用

• BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，so101_pick_place数据集依托LeRobot平台精心构建而成。该数据集通过so101_follower型机器人执行拾放任务，系统采集了20个完整交互序列，共计5145帧数据。数据以Parquet格式高效存储，并划分为单一训练集，每个数据块容纳1000帧，确保了数据的结构化和可管理性。构建过程中，机器人关节位置、观测状态及多视角视觉信息被同步记录，形成了时序连贯的机器人操作轨迹。

特点

该数据集的核心特征在于其多模态数据的深度融合。它不仅包含机器人六维关节位置的动作指令与状态观测，还整合了腕部与前置双视角的高清视频流，分辨率达480x640，帧率为30fps。数据结构严谨，每个特征均明确标注数据类型、维度及物理含义，例如动作空间覆盖肩部平移、抬升、肘部屈伸、腕部活动与夹持器位置。时序索引与任务标识的完整记录，为机器人模仿学习与策略优化提供了丰富的时空上下文信息。

使用方法

研究人员可利用该数据集进行机器人模仿学习、行为克隆及强化学习算法的训练与验证。数据加载遵循标准化的路径模式，通过解析meta/info.json中的配置信息，可便捷访问视频与特征文件。典型应用流程包括：读取Parquet文件提取关节动作与观测序列，同步解码关联视频以分析视觉感知与运动执行的对应关系。数据集支持端到端的策略学习，亦可用于多传感器融合模型的评估，推动机器人操作智能的实证研究。

背景与挑战

背景概述

在机器人操作领域，模仿学习已成为实现复杂任务自主执行的关键范式。so101_pick_place数据集由HuggingFace的LeRobot项目创建，旨在为机器人抓取与放置任务提供高质量的示范数据。该数据集采集自so101_follower机器人平台，包含20个完整任务片段、5145帧数据及40段视频，记录了六自由度机械臂的关节位置、夹爪状态以及腕部和前视摄像头的高清视觉观测。通过整合多模态传感器信息，该数据集为开发端到端的机器人策略学习模型奠定了坚实基础，推动了模仿学习在真实世界机器人应用中的进展。

当前挑战

该数据集致力于解决机器人模仿学习中抓取与放置任务的泛化能力挑战，其核心在于如何从有限示范中学习能够适应环境变化和物体多样性的鲁棒策略。在构建过程中，面临多模态数据同步与对齐的复杂性，需确保关节动作、视觉观测与时间戳的精确匹配。此外，数据采集涉及真实机器人硬件，需克服机械臂控制精度、传感器噪声以及任务执行一致性的工程难题，同时保持数据规模与质量的平衡，以支持后续深度强化学习或行为克隆模型的训练需求。

常用场景

经典使用场景

在机器人操作领域，so101_pick_place数据集为模仿学习与强化学习算法提供了宝贵的训练资源。该数据集记录了机械臂执行抓取放置任务时的多模态观测数据，包括关节位置状态以及来自腕部和前端的视觉图像流。研究者能够利用这些序列化数据，训练模型学习从原始传感器输入到连续动作空间的映射，从而掌握复杂的物体操控技能。

解决学术问题

该数据集直接应对机器人学中样本效率低下与仿真到现实迁移的挑战。通过提供真实机器人平台采集的示教数据，它支持数据驱动的策略学习方法，有效减少了在物理系统上进行试错训练的成本与风险。其意义在于为端到端机器人控制研究建立了基准，推动了无需精确动力学模型也能实现灵巧操作的技术路径，加速了智能体在非结构化环境中自主技能的习得。

衍生相关工作

围绕该数据集，衍生出了一系列专注于机器人视觉运动控制的研究。经典工作包括开发基于时空注意力的模仿学习架构，以更好地融合多视角视觉信息与本体感知；以及探索离线强化学习算法，利用静态数据集学习超越示范者性能的抓取策略。这些研究不仅提升了在so101平台上的任务完成率，其方法框架也普遍适用于其他机器人操作任务，形成了从数据收集到算法验证的完整研究范式。