bimanual-widowxai-handover-object-croissant-Ghallab

该数据集由LeRobot项目创建，专为机器人技术研究设计。数据集包含301个episodes，总计67360帧数据，数据文件大小为100MB，视频文件大小为500MB，帧率为15fps。数据以parquet格式存储，视频以mp4格式存储。数据集详细记录了双WidowX AI跟随机器人的动作状态（14个关节位置）和观测状态（包括多个摄像头视角的图像数据，分辨率为480x640，3通道）。数据集适用于机器人控制、行为模仿等任务，采用Apache-2.0许可协议。

This dataset was developed by the LeRobot project and is specifically designed for robotics research. It contains 301 episodes, totaling 67,360 frames, with a data file size of 100 MB and a video file size of 500 MB, and operates at a frame rate of 15 fps. The tabular data is stored in Parquet format, while the video data is stored in MP4 format. The dataset comprehensively records the motion states (14 joint positions) and observation states of the dual-WidowX AI-following robot. The observation states include image data from multiple camera viewpoints, with a resolution of 480×640 and 3 color channels. This dataset is applicable to tasks such as robot control and behavior cloning, and is released under the Apache-2.0 license.

原始信息汇总

数据集概述

基本信息

• 数据集名称: robochad/bimanual-widowxai-handover-object-croissant-Ghallab
• 任务类别: 机器人学
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模与结构

• 总情节数: 301
• 总帧数: 67360
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 500 MB
• 帧率: 15 FPS
• 数据分割: 训练集 (0:301)
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [14]
• 特征名称:
  • left_joint_0.pos
  • left_joint_1.pos
  • left_joint_2.pos
  • left_joint_3.pos
  • left_joint_4.pos
  • left_joint_5.pos
  • left_left_carriage_joint.pos
  • right_joint_0.pos
  • right_joint_1.pos
  • right_joint_2.pos
  • right_joint_3.pos
  • right_joint_4.pos
  • right_joint_5.pos
  • right_left_carriage_joint.pos

观测状态

• 数据类型: float32
• 形状: [14]
• 特征名称: (与动作特征名称相同)

观测图像

所有图像特征的数据类型均为视频，形状为[480, 640, 3]，视频编码为av1，像素格式为yuv420p，非深度图，无音频。

1. cam_low

   • 视频高度: 480
   • 视频宽度: 640
   • 帧率: 15
   • 通道数: 3

2. cam_high

   • 视频高度: 480
   • 视频宽度: 640
   • 帧率: 15
   • 通道数: 3

3. cam_left_wrist

   • 视频高度: 480
   • 视频宽度: 640
   • 帧率: 15
   • 通道数: 3

4. cam_right_wrist

   • 视频高度: 480
   • 视频宽度: 640
   • 帧率: 15
   • 通道数: 3

元数据

• timestamp: 数据类型 float32，形状 [1]
• frame_index: 数据类型 int64，形状 [1]
• episode_index: 数据类型 int64，形状 [1]
• index: 数据类型 int64，形状 [1]
• task_index: 数据类型 int64，形状 [1]

附加信息

• 代码库版本: v3.0
• 机器人类型: bi_widowxai_follower_robot
• 主页: [信息缺失]
• 论文: [信息缺失]
• 引用: [信息缺失]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的双臂协同数据集对于推动灵巧操作算法的进步至关重要。本数据集通过LeRobot平台，利用双WidowX AI跟随机器人采集了301个完整交互片段，共计67360帧数据，以15帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与读取。采集过程同步记录了机器人14个关节的位置状态以及来自四个视角的视觉信息，包括全局低视角、全局高视角以及左右腕部摄像头，全面捕捉了双臂交接物体的动态场景。

特点

该数据集的核心特征在于其多模态数据的深度融合与精细标注。机器人状态数据精确记录了左右机械臂各七个关节的位置信息，为运动学分析与控制策略研究提供了坚实基础。视觉数据方面，四路同步视频流以480x640分辨率呈现，采用AV1编码压缩，既保证了图像质量又优化了存储效率。数据集结构清晰，通过时间戳、帧索引与片段索引实现了时序对齐，使得动作与观测能够精确匹配。这种设计特别适合用于模仿学习、强化学习以及跨模态表示学习等前沿研究方向。

使用方法

为有效利用该数据集进行机器人学习研究，用户可通过LeRobot库或兼容框架加载数据。数据集已预分为训练集，包含全部301个交互片段。每个数据点整合了动作指令、关节状态观测以及多视角图像，研究者可据此构建端到端的策略模型。在具体应用中，可提取关节位置数据用于轨迹规划，或利用视觉输入训练感知模型。时间戳与索引信息便于进行序列建模与长时程任务分析。数据集采用Apache 2.0许可，支持广泛的学术与工业应用场景。

背景与挑战

背景概述

在机器人协作与灵巧操作领域，双机械臂系统因其在复杂任务执行中的潜力而备受关注。bimanual-widowxai-handover-object-croissant-Ghallab数据集由HuggingFace的LeRobot项目创建，旨在推动机器人双手交接物体的研究。该数据集聚焦于双WidowX AI机械臂平台，通过记录高维状态观测与多视角视觉数据，为模仿学习与强化学习算法提供真实世界交互轨迹。其核心研究问题在于如何实现高效、稳定的双手物体传递，这一能力对于提升机器人在仓储、服务等场景的自主性具有关键意义。尽管数据集的具体创建时间与主要研究人员信息尚未公开，但其依托开源机器人社区，体现了当前机器人学习数据共享与标准化的重要趋势。

当前挑战

该数据集致力于解决机器人双手交接物体这一复杂操作问题，其挑战首先体现在领域问题的内在难度：双手协调需精确控制多个关节的运动时序与力度，同时处理视觉感知、物体姿态估计与接触动力学的不确定性。构建过程中的挑战则更为具体，包括高质量多模态数据的同步采集，如来自四个摄像头的视频流与14维关节状态数据需在时间上严格对齐；数据规模的扩展性受限，现有301个交互片段虽具代表性，但覆盖的物体多样性、环境变化与异常情况仍显不足；此外，真实世界数据的噪声与标注缺失也对算法泛化能力提出更高要求。这些挑战共同指向了机器人学习在现实应用中面临的数据效率与鲁棒性瓶颈。

常用场景

经典使用场景

在机器人操作领域，双手机器人协调控制是实现复杂任务的关键技术。该数据集通过记录双WidowX AI机械臂执行物体交接动作的关节位置与多视角视觉数据，为模仿学习与强化学习算法提供了丰富的训练样本。研究者能够利用这些同步采集的状态与图像序列，构建端到端的控制策略模型，从而模拟人类双手协作的精细操作过程。

实际应用

在工业自动化与物流分拣场景中，双臂机器人需要高效完成物品的抓取、移动与传递。该数据集所涵盖的交接任务数据可直接用于训练机器人执行类似的物料处理流程，提升生产线的灵活性与效率。此外，在辅助机器人或服务机器人领域，此类数据也能支持开发更自然、安全的人机交互与物品传递功能。

衍生相关工作

基于此类双臂操作数据集，学术界已衍生出多项经典研究工作。例如，利用演示数据改进深度强化学习中的探索效率，或开发多模态融合网络以从视觉输入直接预测关节动作。这些工作进一步推动了分层策略学习、跨模态表示对齐等方向的发展，并为开源机器人学习框架提供了关键的基准测试资源。