single-lerobot

DexBench单手机器人灵巧操作数据集，源自DexBench项目，通过Isaac Lab重放并打包为LeRobot v2.1格式。该数据集包含单手机器人灵巧操作的演示数据，每帧数据提供第三人称和手腕视角的RGB视频（分辨率256×256，帧率30 fps）、本体感知信息以及对应的关节空间动作。数据集涵盖14个不同任务，如打开水龙头、抓取物体等，适用于机器人学习和控制研究。

DexBench single-arm robotic dexterous manipulation dataset, derived from the DexBench project, replayed via Isaac Lab and packaged into LeRobot v2.1 format. This dataset contains demonstration data for single-arm robotic dexterous manipulation. Each frame provides third-person and wrist-mounted RGB videos with a resolution of 256×256 at 30 fps, proprioceptive information, and corresponding joint-space actions. The dataset covers 14 distinct tasks such as turning on a faucet and grasping objects, and is applicable to robotic learning and control research.

原始信息汇总

数据集概述：DexBench Single-Hand

DexBench Single-Hand 是一个面向单手机器人灵巧操作的数据集，来源于 DexBench 项目，通过 Isaac Lab 重放并封装为 LeRobot v2.1 格式。

基本信息

属性	数值
总片段数	685
总帧数	275,262
任务数量	14
帧率	30 FPS
摄像头分辨率	256 × 256
机器人	浮动基座 Shadow Dexterous Hand（右手）
LeRobot 版本	v2.1
许可证	Apache-2.0

数据特征

特征名称	数据类型	形状
observation.state	float32	(28,)
observation.images.third_person	video (h264)	(256, 256, 3)
observation.images.wrist	video (h264)	(256, 256, 3)
action	float32	(28,)

• 每个帧包含：第三视角和腕部 RGB 视频（256×256 @ 30fps）、本体感知信息以及对应的关节空间动作。

任务列表（共14个）

任务索引	任务名称
0	Dexbench-OpenFaucet-v0
1	Dexbench-FunctionalDrillApply-v0
2	Dexbench-FunctionalPourCan-v0
3	Dexbench-FunctionalPourMug-v0
4	Dexbench-PivotLargeCuboidAgainstWall-v0
5	Dexbench-TakeBookOffShelf-v0
6	Dexbench-GraspBleach-v0
7	Dexbench-GraspCup-v0
8	Dexbench-GraspKettle-v0
9	Dexbench-GraspPan-v0
10	Dexbench-PickThinObjectFromContainer-v0
11	Dexbench-GearMesh-v0
12	Dexbench-InsertPeg-v0
13	Dexbench-PlugCharger-v0

使用示例（Python）

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset

ds = LeRobotDataset("dexbench/single-lerobot") print(ds.num_episodes, ds.num_frames)

frame = ds[0]

frame["observation.state"], frame["action"]: torch.Tensor(28,)

frame["observation.images.third_person"], frame["observation.images.wrist"]: torch.Tensor(3, 256, 256)

frame["task"]: str (one of the 14 task ids above)

其他说明

• 配套数据集：dexbench/bimanual-lerobot —— 双手子集（746 个片段，56 维动作，额外的左右手腕摄像头）。
• 数据来源：从 DexBench 的遥操作 pickle 文件（teleop_dataset/{rigid, articulation, dexterous, grasping}/...）重放生成，并使用 scripts/convert_to_lerobot.py 转换为 h264 视频（CRF 18）。