record-so101_pick_place_2

LeRobot是一个机器人学数据集，包含30个剧集，6805帧，1个任务，60个视频和1个数据块，每个数据块大小为1000帧。数据集提供了机器人的动作、状态和两个视角的图像信息，并按照Apache-2.0协议发布。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 配置名称: default
• 数据文件: data//.parquet

数据集结构

• 总任务数: 1
• 总视频数: 60
• 总片段数: 30
• 总帧数: 6805
• 片段大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分割: 训练集包含全部30个片段

特征描述

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态特征

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测特征

上方摄像头

• 名称: observation.images.up
• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480像素
  • 宽度: 640像素
  • 编码格式: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 fps
  • 通道数: 3
  • 无音频

前方摄像头

• 名称: observation.images.front
• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480像素
  • 宽度: 640像素
  • 编码格式: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 fps
  • 通道数: 3
  • 无音频

元数据特征

• timestamp: float32类型，形状[1]
• frame_index: int64类型，形状[1]
• episode_index: int64类型，形状[1]
• index: int64类型，形状[1]
• task_index: int64类型，形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 数据格式: Parquet

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据采集领域，record-so101_pick_place_2数据集通过LeRobot框架系统化构建，采用SO101型机械臂执行抓取放置任务。数据采集过程包含30个完整操作序列，总计6805帧图像与动作记录，以30fps的采样频率同步捕获机器人关节状态、视觉观测及时间戳信息，并以标准化Parquet格式分块存储。

特点

该数据集显著特征在于多模态数据融合，包含六维关节角度动作向量、双视角视觉观测（顶部与前方480x640 RGB图像）及精确的时间同步元数据。数据结构采用分层命名体系，明确区分状态观测与执行动作，支持端到端模仿学习与强化学习算法训练。所有视频流采用AV1编码压缩，在保证视觉质量的同时优化存储效率。

使用方法

研究者可通过解析Parquet文件直接获取时序对齐的多模态数据流，其中动作空间为六自由度关节位置控制，观测空间包含机械臂状态与双视角图像。数据集已预划分为训练集（30个完整序列），适用于行为克隆、视觉运动策略学习等任务。加载时需注意帧索引与时间戳的对应关系，以确保时空一致性。

背景与挑战

背景概述

在机器人操作任务研究领域，record-so101_pick_place_2数据集由LeRobot团队构建，专注于机械臂抓取与放置任务的示范数据收集。该数据集通过SO101型六自由度机械臂系统，记录了包含肩部平移、肩部抬升、肘部屈伸、腕部屈伸、腕部旋转及夹爪开合等六维动作空间的多模态交互数据。其价值在于为模仿学习与强化学习算法提供了真实世界的操作轨迹样本，推动机器人自主操作能力的发展。

当前挑战

该数据集旨在解决机器人操作任务中高维连续动作空间的策略学习难题，其构建挑战包括多视角视觉数据与机械臂关节状态的精确同步、长达6805帧的运动轨迹一致性保持，以及六自由度动作指令的噪声抑制。此外，数据采集需克服真实环境中光照变化、物体位姿不确定性及机械系统延迟对示范质量的影响。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录六自由度机械臂的抓取放置任务，为模仿学习算法提供多模态训练数据。其包含关节角度状态、双视角视觉观测与动作指令的同步序列，典型应用于行为克隆和逆强化学习模型的训练过程，通过端到端方式学习从视觉输入到动作输出的映射关系。

衍生相关工作

该数据集的发布催生了系列基于Transformer的多模态策略网络研究，包括视觉-动作联合嵌入方法、时空注意力机制在操作任务中的应用等。相关研究进一步拓展到跨任务泛化、少样本适应等方向，形成了从示范学习到自主探索的完整技术路线，显著提升了机械臂操作技能的迁移能力。

数据集最近研究

最新研究方向

在机器人操作学习领域，record-so101_pick_place_2数据集正推动多模态感知与强化学习的深度融合研究。该数据集通过集成双视角视觉观测与六自由度关节控制动作，为模仿学习和离线强化学习算法提供了高质量的训练基准。当前研究热点集中于利用此类数据集开发端到端的视觉运动策略网络，解决复杂环境下的抓取放置任务泛化问题。随着家庭服务机器人需求的增长，该数据集的开放显著加速了现实场景中机械臂操作技能的迁移学习进展，为具身智能系统的实际部署提供了关键数据支撑。