bimanual-lerobot

DexBench Bimanual是一个专注于双手机器人灵巧操作的数据集，包含从DexBench项目收集的演示数据，并通过Isaac Lab重放后以LeRobot v2.1格式打包。数据集提供了746个演示片段，共计298,482帧数据，涵盖9种不同的双手机器人操作任务。每个数据帧包含多模态信息：第三人称视角、左腕视角和右腕视角的RGB视频（256×256分辨率，30帧/秒，H.264编码）、56维的本体感知状态（浮点数）以及对应的56维关节空间动作。数据集使用的机器人是浮动基座的双Shadow灵巧手。所有演示片段在视觉上保持稳定，因为禁用了每段演示的高动态范围图像背景和桌面纹理随机化。该数据集适用于机器人学习、模仿学习、灵巧操作策略训练等研究任务，特别是双手机器人协调操作场景。数据来源于DexBench的遥操作轨迹数据，经过重放和转换流程生成，采用Apache-2.0许可证。

原始信息汇总

DexBench Bimanual 数据集详情

数据集概述

DexBench Bimanual 是一个双臂灵巧操作演示数据集，通过 Isaac Lab 回放并使用 LeRobot v2.1 格式打包。每个帧包含第三人称、左手腕和右手腕的 RGB 视频（256×256 @ 30 fps）、本体感知数据以及对应的关节空间动作。

基本信息

项目	数值
片段数	746
总帧数	298,482
任务数	9
帧率	30 FPS
摄像头分辨率	256 × 256
机器人	浮动基座双臂 Shadow Dexterous Hands
LeRobot 版本	v2.1
每片段视觉随机化	禁用（所有片段使用固定 HDRI 背景和桌面纹理）

特征结构

特征	数据类型	形状
observation.state	float32	(56,)
observation.images.third_person	video (h264)	(256, 256, 3)
observation.images.left_wrist	video (h264)	(256, 256, 3)
observation.images.right_wrist	video (h264)	(256, 256, 3)
action	float32	(56,)

任务列表

任务索引	任务名称
0	Dexbench-FixateThenManipulate-LiftBasketHandle-v0
1	Dexbench-FixateThenManipulate-OpenFlatFolder-v0
2	Dexbench-FixateThenManipulate-OpenHuaweiPhone-v0
3	Dexbench-FixateThenManipulate-OpenLaptop-v0
4	Dexbench-FixateThenManipulate-OpenStapler-v0
5	Dexbench-FixateThenManipulate-SlideUtilityKnife-v0
6	Dexbench-FixateThenManipulate-SqueezeScissors-v0
7	Dexbench-BimanualLiftBasket-v0
8	Dexbench-BimanualLiftTray-v0

部分任务具有额外的任务条件变体（如 _lose_startup、_onthetable），这些变体的片段已合并到上述基础 task_index 下。

使用示例

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset

ds = LeRobotDataset("dexbench/bimanual-lerobot") print(ds.num_episodes, ds.num_frames)

frame = ds[0]

frame["observation.state"], frame["action"]: torch.Tensor(56,)

frame["observation.images.third_person"],

frame["observation.images.left_wrist"],

frame["observation.images.right_wrist"]: torch.Tensor(3, 256, 256)

frame["task"]: str (one of the 9 task ids above)

配套数据集

• dexbench/single-lerobot — 单手子集（735 个片段，15 个任务，28 维动作，一个腕部摄像头）。

数据来源

来源于 dexbench/DexBench_dataset 仓库中的遥操作轨迹 pickle 文件（目录 teleop_dataset/{bimanual_articulation, grasping}/...），使用 DexBench 的 scripts/create_demo_files_sequential.py 脚本在 Isaac Sim 环境中回放生成（每个任务一个环境，片段在环境内串行回放，禁用每片段 HDRI/桌面纹理随机化以获得视觉稳定的演示）。然后使用 scripts/convert_to_lerobot.py 脚本转换（h264 视频，CRF 18）。

许可证

Apache-2.0。对于底层资产和遥操作数据，遵循上游 DexBench 的许可条款。

搜集汇总

数据集介绍

构建方式

该数据集源自DexBench中保存的双臂灵巧操作遥操作轨迹数据，通过Isaac Lab仿真环境进行回放并重新录制，最终按照LeRobot v2.1标准格式封装而成。在数据生成过程中，每个任务均在独立的Isaac Sim环境中串行回放对应的轨迹文件，并统一禁用了每轮演示的HDRI环境光照与桌面纹理随机化策略，以确保视觉条件的稳定性。随后，借助专用脚本将原始数据转换为LeRobot格式，其中视频流采用CRF 18质量的h264编码压缩。

特点

DexBench Bimanual数据集共收录746个演示片段、约30万帧画面，覆盖9项精细操作任务，涵盖抓取、翻转、滑动、剪纸、翻盖等日常操作。每一帧均同步提供第三视角与左、右手腕三路256×256 RGB视频，以及56维的关节空间状态与对应动作信息。所有演示在固定HDRI背景与桌面纹理下录制，有效消除了视觉变异对策略学习的干扰，为双臂灵巧操作研究提供了高质量、低噪声的示范数据。

使用方法

借助LeRobot框架，用户可通过一行代码加载该数据集并直接用于模仿学习或行为克隆训练。调用LeRobotDataset('dexbench/bimanual-lerobot')即可获得标准化接口，每条数据包含当前状态、三路摄像头图像、动作向量以及对应的任务标识符，方便按需提取与批处理。数据集还特别标注了不同任务变体（如启动姿态、桌面位置）所对应的原始索引，便于用户根据实验需求灵活筛选与合并子任务演示。

背景与挑战

背景概述

在灵巧操作领域，双臂协同作业因其高度复杂的动作规划与协调控制需求，长期被视为机器人学中的前沿课题。DexBench Bimanual数据集由相关研究团队于近期构建，依托Isaac Lab仿真环境，通过遥操作轨迹回放技术，收录了746个演示片段、涵盖9项任务，包含298,482帧多视角RGB视频与关节空间状态动作数据。该数据集聚焦于浮动基座双臂Shadow Dexterous Hands平台下的精细操作场景，如开合容器、操作日常物品等，为双臂灵巧操作的模仿学习与强化学习研究提供了标准化基准，显著推动了机器人技能泛化能力的发展。

当前挑战

该数据集所应对的核心领域挑战在于双臂协作任务的复杂协调性，即在非固定基座条件下，如何实现双臂与灵巧手之间的精准协同动作规划与执行。在构建过程中，面临的技术挑战包括：从遥操作轨迹到仿真回放的高保真转换，需确保运动学与动力学一致性；多视角高帧率视频（256×256@30fps）的实时编码与存储，权衡视觉保真度与数据规模；以及固定场景照明与纹理设置下，如何避免过拟合设定环境，同时维持演示序列的视觉稳定性。此外，任务变体的合并策略也需兼顾数据集的统一性与任务语义的完整性。

常用场景

经典使用场景

在灵巧操作与双臂协同机器人研究领域，该数据集为模仿学习与示教学习提供了高保真的训练素材。研究人员可利用其包含的双臂Shadow灵巧手状态信息、关节空间动作及多视角RGB视频（第三人称、左腕、右腕），构建从观察到动作的端到端映射模型。典型的应用方式是从LeRobot数据加载器读取746条示教轨迹，每条轨迹包含约400帧的时序数据，用于训练策略网络在固定背景与纹理条件下的双臂协同操作技能，如提起篮子、打开文件夹、滑动美工刀等九类精细任务。

衍生相关工作

该数据集的发布催生了一系列衍生研究工作，其中最核心的是其配套的单臂子集dexbench/single-lerobot，为比较单臂与双臂操作性能提供了对照基准。在算法层面，研究者基于该数据集开发了专门针对双臂高维动作空间（56维）的分层模仿学习框架，以及利用三视角视频进行跨视角特征对齐的表示学习方法。此外，该数据集也被用于验证仿真到现实的迁移策略，通过将固定环境下的训练策略适配至动态光照与纹理的真实场景，推动了灵巧操作领域更接近实际部署的泛化能力研究。

数据集最近研究

最新研究方向

在灵巧操作与双臂协作的交叉领域中，DexBench Bimanual数据集为机器人学习提供了高保真的示范驱动研究平台。其核心价值在于融合了浮动基座双灵巧手的运动学特性与多视角视觉反馈，通过9项精细化任务（如开合手机、滑动美工刀等）构建了从固定观察视角到腕部近距感知的联合观测空间。该数据集锚定了模仿学习与离线强化学习中‘视觉-动作对齐’的前沿问题，尤其针对双臂协同时的动作冗余与位姿耦合挑战，为开发具备泛化能力的多任务策略提供了标准化基准。结合LeRobot v2.1的生态化工具链，研究者得以在统一的表征框架下探索视频压缩编码对策略迁移鲁棒性的影响，以及固定环境先验下灵巧操作的动力学建模边界。这一资源正推动人形机器人从单臂操作向更自然的双臂协作范式演进。