single-lerobot

DexBench Single-Hand 是一个专注于单手机器人手灵巧操作的数据集，源自 DexBench 项目。它通过 Isaac Lab 重放操作演示，并打包为 LeRobot v2.1 格式。数据集包含 735 个演示片段，总计 287,019 帧，覆盖了 15 个不同的灵巧操作任务，如打开水龙头、使用工具（钻孔、锤击、倾倒）、抓取不同物体（杯子、水壶、平底锅等）、操作物体（转动长方体、从书架取书）以及完成精细装配（齿轮啮合、插入销钉、插入充电器）。每个数据帧提供第三人称视角和手腕视角的 RGB 视频（分辨率 256×256，帧率 30 fps）、机器人的本体感知状态和关节空间动作。机器人平台为浮动基座的 Shadow 灵巧手（右手），数据特征包括 28 维浮点型状态观测向量、两个 H.264 编码的视频流（对应不同摄像头）和 28 维浮点型动作向量。该数据集适用于机器人灵巧操作、模仿学习和强化学习等研究领域，并附带一个相关的双手操作数据集（dexbench/bimanual-lerobot），采用 Apache-2.0 许可证。

DexBench Single-Hand is a dataset focused on single-hand robotic dexterous manipulation, derived from the DexBench project. It replays operational demonstrations via Isaac Lab and is packaged in the LeRobot v2.1 format. The dataset contains 735 demonstration clips, totaling 287,019 frames, covering 15 different dexterous manipulation tasks, such as turning on a faucet, using tools (drilling, hammering, pouring), grasping various objects (cups, kettles, pans, etc.), manipulating objects (rotating cuboids, taking books from shelves), and performing fine assembly (gear meshing, inserting pins, plugging in chargers). Each data frame provides RGB videos from third-person and wrist perspectives (resolution 256×256, frame rate 30 fps), the robots proprioceptive state, and corresponding joint-space actions. The robot platform is a floating-base Shadow dexterous hand (right hand), with data features including a 28-dimensional floating-point state observation vector, two H.264-encoded video streams (corresponding to different cameras), and a 28-dimensional floating-point action vector. This dataset is suitable for research areas like robotic dexterous manipulation, imitation learning, and reinforcement learning, and comes with a related bimanual manipulation dataset (dexbench/bimanual-lerobot), licensed under Apache-2.0.

原始信息汇总

数据集概览：DexBench Single-Hand

DexBench Single-Hand 是一个面向单手灵巧操控的机器人演示数据集，基于 Isaac Lab 环境重放并打包为 LeRobot v2.1 格式。

基本信息

• 许可协议：Apache-2.0
• 任务类型：机器人学（Robotics）
• 标签：LeRobot、dexbench、灵巧操控（dexterous-manipulation）、单手（single-hand）
• 数据集规模：100K 至 1M 帧

核心统计

属性	值
演示片段（Episodes）	735
总帧数（Frames）	287,019
任务数（Tasks）	15
帧率（FPS）	30
相机分辨率	256 × 256
机器人	浮动底座 Shadow Dexterous Hand（右手）
LeRobot 版本	v2.1
视觉随机化	禁用（所有片段使用固定 HDRI 背景和桌面纹理）

特征结构

特征	数据类型	形状
observation.state	float32	(28,)
observation.images.third_person	视频（h264）	(256, 256, 3)
observation.images.wrist	视频（h264）	(256, 256, 3)
action	float32	(28,)

任务列表（共15个）

task_index	任务名称
0	Dexbench-OpenFaucet-v0
1	Dexbench-FunctionalDrillApply-v0
2	Dexbench-FunctionalHammerStrike-v0
3	Dexbench-FunctionalPourCan-v0
4	Dexbench-FunctionalPourMug-v0
5	Dexbench-PivotLargeCuboidAgainstWall-v0
6	Dexbench-TakeBookOffShelf-v0
7	Dexbench-GraspBleach-v0
8	Dexbench-GraspCup-v0
9	Dexbench-GraspKettle-v0
10	Dexbench-GraspPan-v0
11	Dexbench-PickThinObjectFromContainer-v0
12	Dexbench-GearMesh-v0
13	Dexbench-InsertPeg-v0
14	Dexbench-PlugCharger-v0

使用示例（Python）

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset

ds = LeRobotDataset("dexbench/single-lerobot") print(ds.num_episodes, ds.num_frames)

frame = ds[0]

frame["observation.state"], frame["action"]: torch.Tensor(28,)

frame["observation.images.third_person"], frame["observation.images.wrist"]: torch.Tensor(3, 256, 256)

frame["task"]: str (one of the 15 task ids above)

配套数据集

• dexbench/bimanual-lerobot — 双手子集（746个片段，56维动作，额外左右腕相机）

数据来源

该数据集来源于 dexbench/DexBench_dataset 仓库中的遥操作轨迹 pickle 文件，通过 DexBench 的 scripts/create_demo_files_sequential.py 脚本在 Isaac Sim 环境中依次重放，并使用 scripts/convert_to_lerobot.py 转换为 LeRobot 格式（h264 视频，CRF 18）。

许可说明

采用 Apache-2.0 许可证，上游 DexBench 的基础资产和遥操作数据遵循其原有条款。

搜集汇总

数据集介绍

构建方式

该数据集源自DexBench基准，通过Isaac Lab仿真环境重放遥操作轨迹构建而成。原始轨迹数据取自DexBench数据集中的拾取、抓取与精细操作等类别的任务，并利用专用的顺序化演示生成脚本，在每个物理场景中串行回放多段示例。为确保视觉一致性，所有片段的HDRI背景及桌面纹理均被固定，避免了环境随机化对后续学习的干扰。最终借助编码转换流程，以H.264视频编码（CRF 18）对256×256的第三视角与腕部视角RGB图像进行压缩，并结合机器人本体感知与28维关节空间动作，封装为符合LeRobot v2.1规范的格式。

特点

本数据集聚焦于单臂灵巧操作场景，包含735个高质量演示片段与超过28.7万帧数据，覆盖15种细粒度任务，如开龙头、钻孔锤击、翻倒容器、取书、抓取多样化物体及精密装配等。每帧均同步提供28维机器人状态信息与对应的关节空间动作指令，并搭载30帧每秒的第三视角与腕部单目视频流，为模仿学习与策略训练提供了丰富的多模态观测。所有演示均采用固定基底Shadow Dexterous Hand（右手），保证了机器人形态与运动学结构的统一性。

使用方法

用户可通过LeRobot数据加载库便捷地调用该数据集，只需指定数据集标识符即可完成实例化，并获取片段总数与帧计数。任意索引返回的样本中，状态与动作张量维度均为28，两个视觉观测通道分别提供3通道256×256像素的视频帧，而任务标签则以字符串形式指示所属的15个操作类别之一。该数据集支持直接用于离线强化学习、行为克隆或端到端策略训练，亦可通过配套的双手数据集扩展为多臂联合研究场景。

背景与挑战

背景概述

DexBench Single-Hand数据集由DexBench团队于近期创建，专注于灵巧操作领域中的单臂机器人任务。该数据集通过Isaac Lab仿真环境重放遥操作轨迹，并以LeRobot v2.1标准格式封装，包含735个演示片段、逾28万帧第三视角及腕部RGB视频（256×256分辨率，30帧/秒）、本体感知状态与关节空间动作。围绕15项精细操作任务（如开阀门、抓取不规则物体、插销等），系统性地为学习类人灵巧操作策略提供了标准化基准。其影响力体现在：通过固定HDRI背景与纹理实现视觉稳定性，降低策略学习中的混杂干扰，并采用Apache-2.0许可协议开放，促进灵巧操控在任务级泛化与仿真-真实迁移上的研究。

当前挑战

该数据集所应对的领域挑战包括：灵巧操作中高自由度（28维动作空间）与复杂接触动力学的联合控制难题，以及从固定背景演示中习得的策略如何适应真实世界中的光照与纹理变化。构建过程中面临双重困难：一是每项任务需在Isaac Sim中独立串行回放，735个片段的环境配置需保持视觉一致性以避免帧间随机性干扰；二是将遥操作轨迹高效转为h264压缩视频（CRF 18）时，需平衡存储效率与像素级保真度，以适应后续行为克隆或强化学习算法对高质量、低冗余数据的需求。

常用场景

经典使用场景

在灵巧操作研究领域，单臂灵巧手数据集扮演着至关重要的角色。基于DexBench构建的single-lerobot数据集，涵盖了15项丰富多样的操作任务，从开启水龙头、锤击、倒水等功能性动作，到抓取杯子、水壶、平底锅等日常物体，再到插销、齿轮啮合等精密装配任务，为研究单臂灵巧手的通用操作能力提供了标准化的测试平台。该数据集以30fps的帧率采集了287,019帧图像，包含第三视角和手腕视角的双路RGB视频，配合28维的状态空间和动作空间，使研究者能够系统性地训练和评估视觉-运动策略在灵巧操作任务上的表现，成为该领域最经典的基准数据集之一。

解决学术问题

该数据集有效解决了灵巧操作研究中长期存在的两大核心挑战：一是数据标准化不足导致的研究成果难以复现和比较；二是单臂灵巧手在执行多样化精细任务时的泛化能力评估缺乏统一标准。通过提供包含视觉观测、本体感知和动作指令的完整数据模态，single-lerobot数据集使得研究者可以深入探索模仿学习、强化学习等方法在灵巧操作领域的适用性与局限性。其意义在于首次在浮基Shadow Dexterous Hand平台上，以大规模、高帧率、多视角的方式系统性地收录了15种典型任务的专家演示数据，为建立灵巧操作领域的通用评估体系奠定了坚实的数理基础，显著推动了灵巧操作从特定任务解决方案向通用操作智能的范式转变。

衍生相关工作

该数据集的发布催生了多项具有影响力的衍生产品和研究工作。最直接的衍生工作是同系列的双臂灵巧手数据集（dexbench/bimanual-lerobot），它扩展了单臂场景至双臂协同操作，包含56维动作空间和额外左右手腕相机。在算法层面，基于该数据集的研究工作主要集中三个方向：第一，视觉-运动策略的预训练范式探索，利用大规模多任务数据学习通用操作表示；第二，跨任务迁移学习方法研究，特别是语义相似任务间的知识传递；第三，数据增强与仿真到现实迁移技术，由于数据集本身在视觉随机化方面进行了控制设计，为评估各类域适应算法提供了清晰的对照基线。这些衍生工作共同构建了一个围绕灵巧操作基准数据集的学术生态，加速了相关方法论的迭代与成熟。