pick-and-place-box

这是一个关于机器人技术的数据集，由LeRobot创建。它包含了14个剧集，共6805帧，专注于1个任务。数据集以Parquet文件格式存储，并提供了相应的视频文件。数据集的特征包括动作的位置信息、观察状态、左右摄像头图像、时间戳、帧索引等。

原始信息汇总

数据集概述

基本信息

• 名称: pick-and-place-box
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 14
• 总帧数: 6805
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 分块大小: 1000

数据结构

数据文件

• 格式: Parquet
• 路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet

视频文件

• 路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分辨率: 640×480
• 编码格式: H.264
• 像素格式: yuv420p
• 通道数: 3
• 不包含音频

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: 12
• 包含关节位置:
  • 右肩俯仰角
  • 右肩滚转角
  • 右肩偏航角
  • 右肘关节
  • 右腕关节
  • 右夹爪
  • 左肩俯仰角
  • 左肩滚转角
  • 左肩偏航角
  • 左肘关节
  • 左腕关节
  • 左夹爪

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 维度: 12
• 关节位置与动作特征相同

图像观测

• 左相机: observation.images.cam_left
• 右相机: observation.images.cam_right
• 数据类型: video
• 形状: [480, 640, 3]
• 维度含义: [高度, 宽度, 通道]

索引特征

• 时间戳: timestamp (float32, 维度1)
• 帧索引: frame_index (int64, 维度1)
• 回合索引: episode_index (int64, 维度1)
• 数据索引: index (int64, 维度1)
• 任务索引: task_index (int64, 维度1)

数据划分

• 训练集: 全部14个回合

技术信息

• 代码库版本: v3.0
• 机器人类型: kbot_follower

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，pick-and-place-box数据集通过LeRobot平台系统性地采集了14个完整操作序列，涵盖6805帧数据。该数据集采用Apache-2.0许可协议，以30fps的采样频率记录双机械臂执行拾放任务的全过程，数据以分块存储的parquet格式组织，每个数据块包含1000帧记录，同时配备左右视角的同步视频流，形成多模态机器人操作数据集。

特点

该数据集最显著的特征在于其完备的多模态数据结构，不仅包含12维双机械臂关节位置的动作向量与状态观测，还同步采集480x640分辨率的双视角彩色视频流。数据架构采用分层索引机制，通过时间戳、帧索引、任务索引等多维度标识符实现精确数据定位。所有特征均以标准化浮点格式存储，确保数据的一致性与可复现性，为机器人模仿学习研究提供高质量基准。

使用方法

研究人员可通过加载parquet数据文件直接访问结构化机器人操作记录，利用帧索引与分块存储机制实现高效数据读取。该数据集支持端到端的机器人策略学习，既可提取关节空间的动作-状态对应关系，也能结合视觉观测训练感知-控制联合模型。建议按照标准数据划分方案使用训练集，通过LeRobot提供的工具链进行数据预处理与模型训练，推动机器人操作技能的智能化发展。

背景与挑战

背景概述

机器人操作任务作为人工智能与物理世界交互的核心领域，近年来受到学术界与工业界的广泛关注。pick-and-place-box数据集由HuggingFace团队通过LeRobot开源平台构建，专门针对双臂机器人抓取与放置任务设计。该数据集记录了KBot Follower机器人执行物体抓取操作时的多模态数据，包含14个完整任务序列与6805帧时序数据，融合了双视角视觉观测与12维关节控制指令，为机器人模仿学习与策略泛化研究提供了标准化基准。

当前挑战

在机器人操作领域，该数据集需解决动态环境中物体定位精度与机械臂轨迹规划的耦合难题。构建过程中面临多传感器时序对齐的技术瓶颈，需确保视觉数据与关节状态在30Hz采样频率下的严格同步。数据采集时还需克服机械臂运动学约束与视觉遮挡的干扰，同时处理高达500MB的视频数据与100MB结构化参数的存储优化，这对实时数据处理管道设计提出了严峻考验。

常用场景

经典使用场景

在机器人操作领域，pick-and-place-box数据集为双臂协作任务提供了标准化的实验平台。该数据集通过记录机械臂各关节位置、夹持器状态及双视角视觉数据，完整呈现了物体抓取与放置的连续动作序列。研究人员可基于此数据集训练深度强化学习模型，验证机器人对复杂空间关系的理解能力，并优化多模态感知与控制策略的协同机制。

解决学术问题

该数据集有效解决了机器人模仿学习中动作表征与视觉感知的耦合难题。通过提供精确的关节运动轨迹与同步视觉反馈，支持研究者构建端到端的动作预测模型，显著提升了机器人任务泛化能力。其结构化数据格式为验证新型神经网络架构提供了基准，推动了具身智能领域从仿真到实物的知识迁移研究。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究。基于其多模态特性，学者们开发了时空注意力机制的动作生成网络，实现了动态环境下的自适应抓取。相关成果进一步衍生出跨任务知识迁移框架，为后续大规模机器人数据集构建提供了标准化范式，持续推动着协作机器人认知能力的发展。