pick_toy_2arms_dec15_light_50

该数据集是一个机器人控制相关的数据集，使用LeRobot工具创建。数据集包含Unitree_G1_Dex3机器人的28维状态观测数据（包括左右肩、肘、腕关节角度和手指关节角度）、28维动作执行数据，以及来自左肩高位、左手腕和右手腕的三个视角的480x640 RGB图像数据。数据集共包含50个episodes，7913帧数据，帧率为30fps，数据以parquet格式存储。

原始信息汇总

数据集概述

基本信息

• 数据集名称： pick_toy_2arms_dec15_light_50
• 创建工具： LeRobot (https://github.com/huggingface/lerobot)
• 许可证： Apache-2.0
• 任务类别： 机器人学
• 标签： LeRobot

数据集结构

• 总情节数： 50
• 总帧数： 7913
• 总任务数： 1
• 数据块大小： 1000
• 数据文件总大小： 100 MB
• 视频文件总大小： 500 MB
• 帧率： 30 FPS
• 分割： 训练集 (0:50)
• 数据文件路径模式： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径： 无
• 代码库版本： v3.0
• 机器人类型： Unitree_G1_Dex3

数据特征

观测数据

• observation.state

  • 数据类型： float32
  • 形状： [28]
  • 特征名称： kLeftShoulderPitch, kLeftShoulderRoll, kLeftShoulderYaw, kLeftElbow, kLeftWristRoll, kLeftWristPitch, kLeftWristYaw, kRightShoulderPitch, kRightShoulderRoll, kRightShoulderYaw, kRightElbow, kRightWristRoll, kRightWristPitch, kRightWristYaw, kLeftHandThumb0, kLeftHandThumb1, kLeftHandThumb2, kLeftHandMiddle0, kLeftHandMiddle1, kLeftHandIndex0, kLeftHandIndex1, kRightHandThumb0, kRightHandThumb1, kRightHandThumb2, kRightHandIndex0, kRightHandIndex1, kRightHandMiddle0, kRightHandMiddle1

• observation.images.cam_left_high

  • 数据类型： image
  • 形状： [480, 640, 3]
  • 维度名称： height, width, channel

• observation.images.cam_left_wrist

  • 数据类型： image
  • 形状： [480, 640, 3]
  • 维度名称： height, width, channel

• observation.images.cam_right_wrist

  • 数据类型： image
  • 形状： [480, 640, 3]
  • 维度名称： height, width, channel

动作数据

• action
  • 数据类型： float32
  • 形状： [28]
  • 特征名称： kLeftShoulderPitch, kLeftShoulderRoll, kLeftShoulderYaw, kLeftElbow, kLeftWristRoll, kLeftWristPitch, kLeftWristYaw, kRightShoulderPitch, kRightShoulderRoll, kRightShoulderYaw, kRightElbow, kRightWristRoll, kRightWristPitch, kRightWristYaw, kLeftHandThumb0, kLeftHandThumb1, kLeftHandThumb2, kLeftHandMiddle0, kLeftHandMiddle1, kLeftHandIndex0, kLeftHandIndex1, kRightHandThumb0, kRightHandThumb1, kRightHandThumb2, kRightHandIndex0, kRightHandIndex1, kRightHandMiddle0, kRightHandMiddle1

元数据

• timestamp

  • 数据类型： float32
  • 形状： [1]
  • 名称： 无

• frame_index

  • 数据类型： int64
  • 形状： [1]
  • 名称： 无

• episode_index

  • 数据类型： int64
  • 形状： [1]
  • 名称： 无

• index

  • 数据类型： int64
  • 形状： [1]
  • 名称： 无

• task_index

  • 数据类型： int64
  • 形状： [1]
  • 名称： 无

引用信息

• 主页： 未提供
• 论文： 未提供
• BibTeX 引用格式： 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量的数据集是推动算法进步的关键基石。pick_toy_2arms_dec15_light_50数据集依托LeRobot开源框架构建，专门采集了Unitree G1 Dex3双臂机器人在执行拾取玩具任务过程中的多模态交互数据。该数据集通过真实物理环境下的机器人遥操作或自主演示，记录了50个完整任务片段，共计7913帧数据，以30帧每秒的速率同步捕获机器人的关节状态、动作指令以及来自多个视角的视觉图像。数据以分块Parquet格式高效存储，确保了大规模时序数据的管理与读取性能。

特点

该数据集的核心特征在于其精心设计的异构数据融合与精细的时空对齐。数据模态涵盖了一个28维的浮点型关节状态向量和一个与之维度完全匹配的动作向量，精确刻画了机器人双臂及灵巧手各自由度的运动学信息。视觉观测部分则提供了来自左肩高位、左腕部和右腕部三个相机的RGB图像，分辨率统一为640x480，形成了丰富的环境与末端执行器视角。所有数据流均通过时间戳、帧索引和片段索引进行严格同步，并整合了任务索引，为研究跨模态表示学习与闭环控制策略提供了结构清晰、标注完备的基础。

使用方法

对于旨在利用该数据集的研究者而言，其标准化的格式便于直接集成到现代机器人学习流程中。数据集已预划分为训练集，包含全部50个片段，可直接用于监督学习或模仿学习算法的训练。用户可通过加载Parquet文件访问按时间序列组织的观测-动作对，其中观测融合了状态与图像信息。该数据结构天然支持用于训练端到端的视觉运动策略模型、进行行为克隆或作为离线强化学习的经验池。在处理时，需注意依据帧索引重建完整任务轨迹，并合理利用多相机图像以增强模型的场景理解与泛化能力。

背景与挑战

背景概述

在机器人操作领域，模仿学习为复杂任务提供了数据驱动的解决方案。pick_toy_2arms_dec15_light_50数据集由HuggingFace的LeRobot项目创建，采用Apache 2.0许可证，专为双灵巧臂机器人Unitree G1 Dex3设计。该数据集包含50个完整交互序列，共计7913帧数据，以30fps记录，整合了28维关节状态观测、对应动作指令以及多视角视觉信息。其核心研究问题聚焦于双臂协调操作，旨在通过真实交互数据推动机器人抓取与操控任务的算法发展，为模仿学习与强化学习模型提供高质量训练资源。

当前挑战

该数据集致力于解决机器人双臂协调操作的模仿学习挑战，其核心难点在于高维连续动作空间的精确建模与多模态感知的融合。具体而言，双臂协同需处理28个自由度的复杂运动规划，同时整合手腕与高位相机等多视角视觉反馈，以实现对动态环境的鲁棒理解。在构建过程中，挑战体现在数据采集的规模与质量平衡：仅50个交互序列可能限制模型的泛化能力，且缺乏视频文件与详细元数据，为算法验证带来不便。此外，数据标注完全依赖传感器自动生成，未引入人工校正，可能隐含噪声与系统偏差。

常用场景

经典使用场景

在机器人操作领域，双臂协调控制是实现复杂任务的关键技术。pick_toy_2arms_dec15_light_50数据集以其包含的双臂机器人Unitree G1 Dex3的关节状态、动作指令及多视角视觉数据，为模仿学习与强化学习算法提供了经典训练与验证平台。该数据集记录了机器人执行拾取玩具任务的完整交互序列，使研究者能够基于真实世界数据开发端到端的控制策略，优化双臂在动态环境中的协同作业能力。

解决学术问题

该数据集有效应对了机器人学中模仿学习与强化学习算法缺乏高质量真实世界数据的挑战。通过提供高维度的关节状态、动作空间及同步视觉观测，它支持了从感知到动作的映射模型训练，解决了传统仿真环境与真实物理世界存在的域差异问题。其结构化数据格式促进了算法在双臂协调、精细操作及多模态感知融合等前沿课题上的实证研究，推动了机器人智能控制方法的实际落地。

衍生相关工作

围绕该数据集，学术界已衍生出一系列专注于双臂操作与多模态机器人学习的研究工作。例如，基于LeRobot框架开发的算法常利用此类数据进行行为克隆与离线强化学习的对比实验，探索视觉-动作联合表征的有效性。同时，该数据集也促进了跨模态预训练模型的发展，为机器人操作任务中的迁移学习与少样本适应提供了基准测试资源，推动了社区在真实机器人学习范式的标准化进程。