pick_and_place_2c_zone_2

这是一个关于机器人学的数据集，使用LeRobot创建，遵循Apache-2.0许可证。数据集包含50个剧集，32311帧图像，100个视频文件，共1个任务。数据集结构包括动作和观察状态特征、不同视角的图像以及时间戳。所有数据被划分为训练集，使用Parquet格式的数据文件和MP4格式的视频文件。数据集中的机器人为so101_follower类型。

原始信息汇总

数据集概述

基本信息

• 名称: pick_and_place_2c_zone_2
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总情节数: 50
• 总帧数: 32311
• 总任务数: 1
• 总视频数: 100
• 总块数: 1
• 块大小: 1000
• 帧率: 30 FPS
• 数据格式: Parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 字段:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 字段:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测 - 上方视角

• 名称: observation.images.up
• 数据类型: video
• 形状: [480, 640, 3]
• 视频属性:
  • 高度: 480像素
  • 宽度: 640像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 通道数: 3
  • 无音频

图像观测 - 前方视角

• 名称: observation.images.front
• 数据类型: video
• 形状: [480, 640, 3]
• 视频属性:
  • 高度: 480像素
  • 宽度: 640像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 通道数: 3
  • 无音频

元数据特征

• timestamp: float32, 形状[1]
• frame_index: int64, 形状[1]
• episode_index: int64, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

分割信息

• 训练集: 0:50

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，数据集的构建方式直接影响其科学价值。pick_and_place_2c_zone_2数据集通过LeRobot框架系统采集，采用so101_follower型机器人执行抓取放置任务，共包含50个完整操作序列，总计32311帧数据。数据以分块形式存储于parquet格式文件中，每块包含1000帧，以30fps的采样率同步记录机器人关节状态、视觉观测及时间戳信息，确保时序一致性。

特点

该数据集的核心特征体现在多模态数据融合与精细标注体系。包含6自由度关节动作指令与对应状态观测，配备双视角视觉数据（480x640分辨率RGB图像），分别从上方和正面捕捉操作场景。数据结构采用分层命名体系，明确区分动作空间、观测空间及元数据字段，支持端到端模仿学习与强化学习算法验证。所有视频流采用AV1编码压缩，在保证视觉质量的同时优化存储效率。

使用方法

研究者可通过HuggingFace数据集库直接加载该数据集，利用标准接口访问分块存储的序列数据。典型应用流程包括：解析parquet文件获取动作-观测对，结合视频路径调用视觉模态，根据episode_index重构完整操作轨迹。训练时可按帧索引对齐多模态数据，特别适用于跨模态表示学习、行为克隆及离线强化学习任务。数据划分已预设训练集（全部50个序列），需注意验证集需用户自行划分以满足特定实验需求。

背景与挑战

背景概述

机器人操作任务数据集pick_and_place_2c_zone_2由HuggingFace的LeRobot项目团队构建，专注于机械臂抓取与放置这一核心研究问题。该数据集采用so101_follower型机器人，记录了50个完整操作序列，涵盖32311帧多视角视觉数据与六维关节控制指令，为模仿学习与强化学习算法提供了真实世界的训练样本。其结构化设计显著推动了机器人灵巧操作领域的实证研究进展，成为自动化控制系统中行为克隆与策略优化的重要基准资源。

当前挑战

该数据集致力于解决机器人视觉运动控制中的复杂序列决策问题，其核心挑战在于高维连续动作空间与多模态感知信息的对齐融合。构建过程中需克服多传感器时序同步、机械臂运动轨迹的精确标注、以及大规模视频数据存储与处理的工程难题。环境光照变化、物体位姿不确定性以及机械控制延迟等因素进一步增加了数据采集与标注的复杂性，要求系统具备高度的鲁棒性与精确度。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录六自由度机械臂的抓取与放置动作序列，为模仿学习算法提供多模态训练数据。其经典应用场景包括基于视觉反馈的端到端策略学习，研究者可利用前视与上视双摄像头采集的RGB图像流，结合关节角度状态数据，训练神经网络直接输出机械臂控制指令。

解决学术问题

该数据集有效解决了机器人操作任务中动态环境感知与精确运动控制的耦合难题。通过提供同步的多视角视觉观测与高精度关节动作数据，支持研究者开发能够处理视觉遮挡、目标位姿变化的鲁棒控制算法，显著推进了从视觉输入到连续动作输出的映射建模研究。

衍生相关工作

该数据集催生了多项基于深度强化学习的抓取策略研究，包括结合逆动力学模型的行为克隆方法、多视角视觉特征融合网络架构等经典工作。相关研究进一步拓展到跨域迁移学习领域，推动了仿真到真实世界（Sim2Real）的技术转移在机器人操作任务中的实际应用。