dddw123/bimanual_gauze_recording

该数据集是通过LeRobot创建的，主要用于机器人技术领域，特别是双手机器人操作。数据集包含153个集，192722帧，涉及13个任务。数据以parquet格式存储，视频以mp4格式存储。数据集的特征包括12个浮点型动作数据（左右肩、肘、腕和抓手的位姿），12个浮点型观察状态数据（与动作数据相同），以及来自三个不同视角的图像数据（左前、顶部和右前），每个视角的图像分辨率为480x640，3通道，帧率为10fps。此外，数据集还包括时间戳、帧索引、集索引、索引和任务索引等元数据。This dataset was created using LeRobot and is primarily used in the field of robotics, specifically for bimanual robot operations. The dataset contains 153 episodes, 192722 frames, and involves 13 tasks. The data is stored in parquet format, and videos are stored in mp4 format. The features of the dataset include 12 float32 action data (positions of left and right shoulders, elbows, wrists, and grippers), 12 float32 observation state data (same as action data), and image data from three different perspectives (left front, top, and right front), each with a resolution of 480x640, 3 channels, and a frame rate of 10fps. Additionally, the dataset includes metadata such as timestamps, frame indices, episode indices, indices, and task indices.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的双臂协作数据对灵巧操作技能的习得至关重要。bimanual_gauze_recording数据集依托LeRobot框架构建，通过pi05机器人平台采集双臂在纱布操作任务中的运动轨迹与视觉信息。数据采集涵盖153个完整回合，每个回合以10帧/秒的频率记录，总计获取超过19万帧数据，涉及13种不同任务场景。原始数据被切分为1000帧大小的数据块，以Parquet格式存储机械臂关节状态与动作指令，同时以AV1编码的MP4视频保存多视角视觉观测，包括左右两侧的前视与俯视图像，为双臂协调控制研究提供丰富的模态信息。

特点

该数据集的核心特点体现在其精细的双臂协同操作设计上。12维动作空间完整描述了左右双臂各6个自由度（肩部、肘部、腕部及夹爪）的位置信息，观测状态与动作空间维度一致，便于构建状态-动作映射模型。多视角视觉系统通过四个摄像头（左前、左上、右前、右上）以640×480分辨率同步记录场景，弥补单一视角的遮挡局限。所有数据以Apache-2.0许可证开放，视觉与状态数据均经过标准化组织，且提供在线可视化工具，便于研究者快速预览数据质量与任务多样性。

使用方法

研究者可通过LeRobot库高效加载该数据集。首先安装lerobot包，然后使用`load_dataset`函数指定数据集路径`dddw123/bimanual_gauze_recording`，即可自动获取包含动作、状态、图像及时间戳等字段的标准化数据。数据按回合组织，通过`episode_index`字段索引不同任务序列。对于视觉输入，需配合解码器处理AV1格式的视频帧。结合LeRobot提供的训练管线，可直接用于模仿学习或强化学习算法的训练与评估，双臂关节的物理意义明确，便于策略向实体机器人的迁移部署。

背景与挑战

背景概述

在机器人操作领域，双臂协作任务因其对协调性与精准度的严苛要求而成为研究前沿。该数据集由Hugging Face社区借助LeRobot框架创建，聚焦于双臂机器人进行纱布操作这一典型精细作业场景。数据集收录了153个示范片段、约19万帧数据，覆盖13种任务变体，记录了两台六自由度机械臂的关节状态与多视角视觉观测信息。通过提供标准化双臂运动表示与多模态感知数据，该数据集为研究双臂协调控制、基于模仿学习的柔顺操作等核心问题奠定了数据基础，推动了机器人从单臂操作向复杂双臂协作的范式迁移，对双臂机器人技能的泛化性研究具有重要支撑作用。

当前挑战

该数据集主要面临三方面挑战。领域问题层面，双臂纱布操作要求机器人在动态环境中同时控制两个机械臂完成柔性物体（如纱布）的协同操作，涉及力位混合控制、避碰规划以及末端执行器之间的运动同步等复杂问题，传统单臂控制方法难以直接迁移。构建过程中，数据采集依赖遥操作示教，操作者需同时协调12个自由度（每臂6个）并配合多视角视觉反馈，对人为精准度要求极高；同时153个片段仅覆盖13种任务，样本多样性有限，易导致策略过拟合于特定示教风格。此外，多视角视频与关节状态的高频同步采集（10Hz）对硬件实时性与数据标注一致性也构成显著挑战。

常用场景

经典使用场景

在机器人学习领域，双机械臂协作操作任务因其在复杂环境中的高难度而备受关注。bimanual_gauze_recording数据集专为研究双机械臂协作操控柔软物体而设计，其经典使用场景集中于模仿学习与强化学习的训练与评估。该数据集包含153个高保真操作演示片段，记录了双机械臂在执行如纱布抓取、折叠、传递等13种精细任务时的完整动作序列与多视角视觉信息。研究者可据此构建端到端的策略模型，利用观测图像与关节状态数据，学习从感知到动作的映射关系，从而在仿真或真实平台上复现稳定的双机械臂协同操作行为。

衍生相关工作

围绕bimanual_gauze_recording数据集，衍生出一系列影响深远的学术工作。它常被用作评测平台，验证新型模仿学习架构如基于Transformer的行为克隆、扩散策略以及多任务元学习算法在柔性物体操作场景中的有效性。同时，该数据集促进了视觉-运动联合表征学习方法的发展，推动了隐式奖励函数设计与跨任务迁移学习的研究。这些衍生工作不仅深化了对双臂协作内在机制的理解，也为后续构建更具通用性的机器人基础模型奠定了数据基石。

数据集最近研究

最新研究方向

当前，双臂协作机器人领域正经历从单一操作向精细化、协同化任务处理的深刻变革，而柔性物体操控作为医疗、制造等场景中的核心难点备受关注。'bimanual_gauze_recording'数据集正是在此背景下应运而生，其聚焦于双臂机器人对纱布这类形变不确定物体的协同抓取与操作，通过153个示范回合与12维动作空间（涵盖双臂各关节位置与夹爪状态），为模仿学习与示教复现提供了高精度、多视角的视觉-动作联合训练资源。该数据集的发布顺应了机器人学习领域利用大规模遥操作数据驱动技能泛化的前沿趋势，尤其为研究双臂协调中的力控制、形状适应及任务分解等基础问题奠定了数据基石，其采用的Av1压缩视频格式与LeRobot标准化框架，亦显著降低了多模态融合的学习门槛，有望推动柔性物体自动化处理在手术辅助、精密装配等敏感场景中的实际落地。