pick-place

该数据集是使用LeRobot创建的，专为机器人技术领域设计，采用Apache-2.0许可证。数据集包含101个总剧集，45644帧，涉及单一任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括动作数据、观察状态、来自手腕和顶置摄像头的图像观察，以及多个索引字段如时间戳、帧索引、剧集索引等。动作和观察状态数据包括六个关节位置信息，图像数据为480x640分辨率的三通道视频。数据集适用于机器人控制和学习任务的研究。

This dataset was constructed using the LeRobot framework, purpose-built for the robotics domain and licensed under the Apache-2.0 license. It contains a total of 101 episodes and 45,644 frames, centered on a single task. The data is stored in Parquet file format, with a total data file size of 100 MB and a video file size of 200 MB, operating at a frame rate of 30 fps. The dataset structure encompasses action data, observation states, image observations captured by the wrist and overhead cameras, as well as multiple index fields including timestamps, frame indices, and episode indices. Both the action and observation state data incorporate information about six joint positions, while the image data comprises 3-channel video with a resolution of 480×640. This dataset is applicable to research on robot control and learning tasks.

原始信息汇总

数据集概述

基本信息

• 数据集名称: pick-place
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache 2.0
• 任务类别: 机器人学

数据集规模与结构

• 总情节数: 101
• 总帧数: 45644
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 划分: 全部数据（0:101）用于训练
• 代码库版本: v3.0
• 机器人类型: so_follower

数据文件与路径

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测图像（腕部摄像头）

• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 640 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30 FPS
  • 通道数: 3
  • 包含音频: false

观测图像（俯视摄像头）

• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 640 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30 FPS
  • 通道数: 3
  • 包含音频: false

元数据

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 情节索引: int64, 形状 [1]
• 索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX 引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务领域，pick-place数据集依托LeRobot平台构建而成，其数据采集过程涉及对so_follower型机器人执行拾放任务的系统性记录。该数据集共包含101个完整操作序列，总计45644帧数据，以30帧每秒的速率捕获机器人关节状态与视觉信息。数据以分块形式存储于Parquet文件中，每块约含1000帧，同时配套存储了腕部与顶部视角的视频流，确保了数据的高效访问与完整性。

特点

pick-place数据集在机器人学习领域展现出多模态融合的显著特点，其不仅提供了六维关节位置的动作与状态向量，还同步收录了双视角的高清视频流，分辨率达640x480，采用AV1编码格式。数据集结构清晰，通过时间戳、帧索引与任务索引等元数据实现了精细的时序对齐，便于研究者分析动作与观察间的动态关联。这种统一而丰富的表征形式，为模仿学习与强化学习算法提供了高质量的仿真与验证环境。

使用方法

针对机器人技能学习的研究，该数据集可直接通过HuggingFace平台加载，其标准化的Parquet格式与视频文件路径便于集成至主流机器学习框架。使用者可依据episode_index与frame_index提取特定任务片段，结合动作、状态及双路图像输入训练端到端策略模型。数据集已预设训练划分，覆盖全部101个序列，支持从状态重建、行为克隆到视觉伺服控制等多种实验场景，为算法开发与性能评估提供可靠基准。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习等数据驱动方法正逐步成为实现复杂任务自主执行的关键途径。pick-place数据集由LeRobot项目团队构建，旨在为机器人抓取与放置任务提供高质量的示范数据。该数据集收录了101个完整操作序列，涵盖超过四万五千帧的多模态观测信息，包括机械臂关节状态、腕部与顶部视角的图像视频流，以及精确的动作指令。其核心研究问题聚焦于如何利用真实世界的交互数据，训练机器人精准理解并执行物体操控任务，从而推动具身智能在非结构化环境中的实际应用。

当前挑战

该数据集致力于解决机器人操作中抓取与放置这一经典问题的挑战，其难点在于高维连续动作空间的精确控制、多传感器信息的时空对齐，以及在不同物体与场景下的泛化能力。在构建过程中，团队需克服真实物理系统数据采集的稳定性与一致性难题，确保机械臂轨迹与视觉观测的同步记录，同时处理大规模视频数据的高效压缩与存储。此外，数据标注与质量验证也面临人工成本高昂与自动化评估机制缺乏的制约，这些因素共同构成了数据集开发与应用的重要障碍。

常用场景

经典使用场景

在机器人操作领域，pick-place数据集为机械臂抓取与放置任务提供了丰富的多模态数据资源。该数据集通过记录机械臂关节状态、腕部及俯视视角的图像序列，构建了从感知到动作的完整交互轨迹。研究人员可基于这些数据训练端到端的机器人控制模型，模拟真实环境下的物体抓取、移动和放置过程，为机器人自主操作能力的提升奠定数据基础。

实际应用

在实际工业与物流场景中，pick-place数据集能够为自动化分拣、装配线操作及仓储搬运系统提供关键技术验证平台。基于该数据集训练的模型可部署于各类机械臂系统，实现高效、精准的物体抓取与放置，降低人工操作成本并提升生产效率。其多视角视觉数据进一步增强了系统在复杂光照、遮挡环境下的鲁棒性，为智能制造与柔性自动化应用提供了可靠的技术支撑。

衍生相关工作

围绕pick-place数据集，学术界已衍生出一系列经典研究工作，特别是在机器人模仿学习与视觉运动策略学习领域。这些工作利用数据集的多模态特性，开发了基于深度神经网络的动作预测模型、跨模态注意力机制以及分层强化学习框架。相关成果不仅提升了机械臂在抓取任务中的成功率与适应性，也为后续大规模机器人数据集的构建与标准化提供了重要参考，持续推动着机器人智能控制技术的发展。