angelinayc2011/bimanual3

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=angelinayc2011/bimanual3">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "bi_so_follower",
"total_episodes": 10,
"total_frames": 8399,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:10"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.state": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.images.left_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据集的构建往往依赖于实际物理系统的交互记录。bimanual3数据集通过LeRobot平台采集，涵盖了双手机器人系统的操作数据。该数据集包含10个完整的情节，总计8399帧，以30帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块约1000帧，便于高效读取与处理。同时，配套的视频文件记录了左右手腕摄像头的视觉信息，为多模态学习提供了丰富素材。

特点

该数据集的核心特点在于其双手机器人系统的全面数据覆盖。动作空间与观测状态均包含12个自由度，精确捕捉了左右机械臂各关节的位置信息。视觉观测方面，左右手腕摄像头以480x640分辨率的三通道图像提供了第一人称视角，增强了环境感知的维度。数据集结构清晰，通过时间戳、帧索引和情节索引等元数据，支持时序分析与任务划分，为模仿学习与强化学习算法提供了标准化输入。

使用方法

使用bimanual3数据集时，研究者可通过LeRobot提供的可视化工具直观探索数据分布。数据加载遵循标准流程，依据元数据文件中的路径指引，可分别访问Parquet格式的动作与状态数据，以及MP4格式的视频流。在模型训练中，可利用帧索引与情节索引构建训练集，结合动作指令与多模态观测进行端到端学习。该数据集适用于双手机器人协调控制、视觉运动策略学习等前沿研究方向。

背景与挑战

背景概述

在机器人学领域，双手机器人操作因其能够执行复杂、精细的协同任务而成为研究热点。bimanual3数据集由HuggingFace的LeRobot项目创建，旨在为双手机器人模仿学习提供高质量的真实世界交互数据。该数据集记录了双手机器人（bi_so_follower）在单一任务中的10个完整操作片段，包含8399帧数据，融合了12维关节状态动作信息以及左右腕部摄像头采集的视觉观测，以30fps的帧率捕捉了精细的运动细节与视觉场景。其构建依托于开源机器人框架LeRobot，体现了社区在推动机器人数据驱动研究方面的努力，为开发鲁棒的双臂控制策略奠定了数据基础。

当前挑战

bimanual3数据集致力于解决双手机器人模仿学习中的核心挑战，即如何从多模态观测中学习精确、协调的双臂协同控制策略。这一领域问题面临动作空间高维、视觉与状态信息对齐复杂、以及长时序依赖建模等难点。在数据集构建过程中，挑战同样显著：需要确保双腕视觉流与关节状态数据的高精度同步，处理大规模视频数据带来的存储与编码压力（如采用AV1编码），并在有限任务场景下保证数据的多样性与泛化能力。此外，数据采集涉及复杂的机器人硬件集成与实时数据流水线，对系统的可靠性与一致性提出了严格要求。

常用场景

经典使用场景

在机器人学领域，双手机器人协调控制是提升操作灵活性与复杂任务执行能力的关键方向。Bimanual3数据集通过记录双手机器人执行任务时的关节位置、视觉图像及时间序列数据，为研究人员提供了丰富的多模态交互轨迹。该数据集最经典的使用场景在于训练和评估模仿学习与强化学习算法，特别是针对双臂协同动作生成与规划的研究。通过分析机器人左右腕部摄像头捕捉的实时视觉信息与精确的关节状态反馈，模型能够学习如何协调双臂完成诸如物体搬运、装配等精细操作，从而推动机器人自主操作技能的提升。

衍生相关工作

围绕Bimanual3数据集，已衍生出一系列专注于双臂机器人学习的经典研究工作。这些工作通常基于数据集的轨迹与视觉信息，开发先进的深度模仿学习框架，以生成平滑且高效的双臂运动策略。部分研究进一步探索了多任务学习与元学习在双臂协调中的应用，利用数据集的序列特性训练模型快速适应新任务。此外，结合强化学习与模型预测控制的方法也常以该数据集为验证平台，致力于提升双臂机器人在动态环境中的鲁棒性与泛化能力，推动了机器人学习算法在真实硬件上的部署进程。

数据集最近研究

最新研究方向

在机器人操作领域，bimanual3数据集凭借其双机械臂协同操作的丰富数据，正成为推动模仿学习与强化学习融合研究的关键资源。该数据集通过LeRobot平台构建，整合了多视角视觉信息与高维关节状态，为探索复杂双手任务中的动作规划与感知对齐提供了坚实基础。当前研究热点聚焦于利用此类多模态数据训练端到端策略模型，旨在提升机器人在非结构化环境中的自主操作能力，尤其在装配、灵巧抓取等工业场景中展现出广阔应用前景。