pickput-gray-v1

该数据集是由LeRobot创建的机器人领域数据集，包含41个episodes和130973帧数据。数据集结构详细记录了双手机器人的动作数据（12个关节位置）、观测状态（12个关节位置）、多视角图像数据（左左、右右、右上三个视角的480x640 RGB视频）以及时间戳、帧索引等元数据。数据以parquet格式存储，视频以mp4格式存储，总数据量约300MB（数据100MB+视频200MB）。采样频率为30fps，所有数据都用于训练集。

原始信息汇总

数据集概述

基本信息

• 数据集名称: pickput-gray-v1
• 发布者: AriRyo
• 许可证: Apache License 2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: 使用 LeRobot (https://github.com/huggingface/lerobot) 创建。

数据集规模与结构

• 总情节数: 41
• 总帧数: 130,973
• 总任务数: 1
• 数据分块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 数据划分: 全部数据（第0至41个情节）均用于训练。
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

数据集包含以下特征字段：

动作

• 数据类型: float32
• 维度: [12]
• 描述: 包含左右机械臂各6个关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置信息。

观测状态

• 数据类型: float32
• 维度: [12]
• 描述: 与动作特征相同，包含左右机械臂各6个关节的位置信息。

观测图像

包含三个视角的RGB视频流：

1. observation.images.left_left
2. observation.images.right_right
3. observation.images.right_above
   • 数据类型: video
   • 图像尺寸: 高度 480 像素，宽度 640 像素，3通道 (RGB)。
   • 视频编码: AV1
   • 像素格式: yuv420p
   • 属性: 非深度图，无音频。

索引与时间戳

• timestamp: 时间戳 (float32, 形状 [1])。
• frame_index: 帧索引 (int64, 形状 [1])。
• episode_index: 情节索引 (int64, 形状 [1])。
• index: 索引 (int64, 形状 [1])。
• task_index: 任务索引 (int64, 形状 [1])。

附加说明

• 主页: 信息缺失。
• 相关论文: 信息缺失。
• 引用信息 (BibTeX): 信息缺失。
• 代码库版本: v3.0
• 机器人类型: bi_so_follower

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实世界的物理交互记录。pickput-gray-v1数据集通过LeRobot平台，采集了双机械臂系统执行拾放任务时的多模态数据。该数据集包含41个完整操作序列，总计超过13万帧数据，以30帧每秒的速率同步记录机械臂关节状态与多视角视觉信息。数据以分块Parquet格式存储，每块包含1000帧，确保了高效的数据读取与处理。

特点

该数据集的核心特征在于其丰富的多模态表征与精细的时间对齐。数据集中不仅包含左右机械臂各6个关节的位置指令与状态反馈，还提供了三个不同视角的同步视觉流，分辨率均为640x480像素。所有传感器数据均以统一时间戳进行严格同步，帧索引与回合索引的完整标注使得时序分析成为可能。这种结构化的多模态记录为机器人模仿学习与行为克隆研究提供了理想的数据基础。

使用方法

研究者可通过HuggingFace数据集库直接加载pickput-gray-v1数据集，利用其标准化的数据接口访问各模态信息。数据集采用分块存储设计，支持流式读取以处理大规模序列数据。典型使用场景包括训练端到端的视觉运动策略模型，或开发多传感器融合的状态估计方法。数据集中完整的回合划分便于进行离线强化学习与行为分析，而标准化的数据格式确保了与主流机器人学习框架的兼容性。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究亟需高质量、多模态的真实世界数据集以推动算法泛化能力的提升。pickput-gray-v1数据集由LeRobot项目团队创建，旨在为双臂机器人操作任务提供丰富的交互数据。该数据集收录了41个完整操作片段，包含超过13万帧的多视角视觉观测与精确的关节位置动作记录，其核心研究问题聚焦于如何利用异构传感器数据训练机器人执行复杂的抓取与放置任务。尽管其具体创建时间与主要研究人员信息尚未公开，但作为Apache 2.0许可下的开放资源，该数据集有望促进机器人操作策略的端到端学习研究，并为仿真到实物的迁移提供关键数据支撑。

当前挑战

该数据集致力于解决机器人操作任务中策略学习的核心挑战，即如何在动态、非结构化的真实环境中实现精确且鲁棒的动作生成。具体而言，挑战体现在从高维视觉输入到连续关节空间动作的映射学习，以及多视角图像信息与本体感知状态的融合表征。在构建过程中，数据采集面临诸多困难，包括双臂机器人系统的同步控制、多摄像头数据的时空对齐、以及长时序操作任务中数据一致性的保持。此外，大规模视频数据的存储、压缩与高效读取亦构成工程实践上的显著挑战，需在数据保真度与处理效率之间寻求平衡。

常用场景

经典使用场景

在机器人学习领域，pickput-gray-v1数据集为双臂机器人操作任务提供了丰富的多模态数据资源。该数据集通过记录机器人执行抓取放置动作时的关节位置、状态信息以及多视角视觉图像，为模仿学习与强化学习算法的训练与验证奠定了坚实基础。研究人员能够利用这些同步采集的观测与动作序列，构建端到端的控制策略模型，从而模拟真实环境中的复杂操作行为。

解决学术问题

该数据集有效应对了机器人操作任务中数据稀缺与仿真-现实差距的挑战。通过提供真实机器人平台采集的高质量轨迹数据，它支持了从视觉感知到关节动作的映射研究，促进了跨模态表示学习的发展。在学术层面，该数据集助力于解决模仿学习中的分布偏移问题，并为离线强化学习提供了可靠的基准环境，推动了数据驱动机器人控制方法的理论进步。

衍生相关工作

围绕pickput-gray-v1数据集，衍生出了一系列专注于双臂协调控制与多任务学习的经典研究工作。这些工作通常利用数据集的序列化轨迹进行行为克隆算法的改进，或结合离线强化学习框架探索更高效的数据利用策略。部分研究进一步扩展了数据集的用途，将其作为多智能体协作或元学习的基础，推动了机器人技能泛化与迁移学习领域的创新。