angelinayc2011/bimanual4

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=angelinayc2011/bimanual4">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "bi_so_follower",
"total_episodes": 10,
"total_frames": 8791,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:10"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.state": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.images.left_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据驱动的控制策略日益成为研究热点，bimanual4数据集正是这一趋势下的产物。该数据集依托LeRobot平台构建，通过采集双手机器人执行特定任务时的多模态数据，系统记录了机械臂的关节位置、视觉感知信息及时间序列。数据以Parquet格式存储，并辅以MP4格式的视频文件，确保了高效的数据读取与处理。整个数据集包含10个完整的情节，共计8791帧，采样频率为30赫兹，为后续的模型训练提供了丰富的时空信息基础。

特点

bimanual4数据集在机器人操作任务中展现出鲜明的多模态特性，其核心在于融合了精确的关节状态数据与高分辨率的视觉流。数据集详细记录了左右机械臂各六个关节的位置信息，以及来自左右腕部摄像头的480x640像素彩色视频，这些视觉数据以AV1编码存储，保证了图像质量与压缩效率的平衡。此外，数据集结构清晰，通过帧索引、情节索引等元数据实现了数据的精确定位，便于研究者针对特定任务片段进行深入分析。这种多源信息的同步采集，为复杂环境下的双臂协同控制研究提供了不可或缺的数据支撑。

使用方法

对于希望利用bimanual4数据集的研究者而言，其使用流程遵循标准化的机器人学习范式。数据集已预先划分为训练集，用户可通过Hugging Face平台直接访问或使用LeRobot工具链进行加载与可视化。在实际应用中，研究者可以提取关节位置作为动作空间，结合腕部摄像头图像构建观察空间，进而训练模仿学习或强化学习模型。数据的分块存储设计（每块约1000帧）优化了内存管理，使得大规模数据处理成为可能。通过集成这些多模态输入，模型能够学习到从视觉感知到关节控制的端到端映射，推动双臂机器人操作技能的自动化发展。

背景与挑战

背景概述

在机器人学领域，双手机器人操作代表了实现复杂灵巧任务的前沿方向，其核心研究问题在于如何协调两个机械臂完成协同作业。bimanual4数据集由LeRobot项目团队创建，旨在为双手机器人模仿学习提供高质量的多模态示范数据。该数据集收录了双手机器人执行单一任务时的关节位置、视觉观测及时间序列信息，通过结构化记录为算法开发提供了真实世界的交互轨迹。尽管具体创建时间与论文信息暂未公开，但其依托开源社区推动，显著促进了机器人行为克隆与强化学习研究的可复现性，对提升双手机器人自主操作能力具有重要参考价值。

当前挑战

双手机器人操作面临的核心挑战在于高维动作空间的协调控制与多传感器信息的融合理解。bimanual4数据集所针对的领域问题正是双手机器人模仿学习，其难点包括从异构数据中提取有效的协同策略，以及处理视觉观测与关节状态间的时序对齐。在构建过程中，数据采集需克服机械臂同步控制、多视角视频同步录制以及大规模轨迹数据的存储与标注等工程难题。此外，确保数据集的多样性与任务泛化性，避免过拟合于特定场景，亦是该数据集持续完善的关键挑战。

常用场景

经典使用场景

在机器人学领域，双手机器人操作因其复杂性和实用性而备受关注。bimanual4数据集作为LeRobot项目的一部分，其经典使用场景聚焦于双手机器人的协调控制研究。该数据集通过记录双臂机器人的关节位置、夹爪状态以及手腕摄像头视频，为开发模仿学习与强化学习算法提供了丰富的多模态数据。研究人员能够利用这些数据训练模型，使机器人学习执行精细的双臂协同任务，例如物体抓取、装配或操作，从而推动机器人自主执行复杂操作的能力。

解决学术问题

bimanual4数据集针对机器人控制中的关键学术问题提供了解决方案。它通过提供高维度的动作与状态数据，包括12个关节位置和视觉观测，帮助研究者克服双手机器人运动规划中的高维状态空间建模难题。该数据集支持端到端策略学习，解决了传统方法在双手机器人协调控制中依赖手工设计特征和动力学模型的局限性。其意义在于促进了数据驱动方法在机器人学中的应用，为开发更通用、自适应的双手机器人系统奠定了数据基础，推动了机器人自主操作技术的进步。

衍生相关工作

围绕bimanual4数据集，已衍生出多项经典研究工作。这些工作主要集中于改进双手机器人的模仿学习和强化学习算法，例如开发基于Transformer的序列模型来处理多模态时间序列数据，或设计分层策略以分解复杂的双臂任务。部分研究利用该数据集进行跨模态表示学习，整合关节运动与视觉信息，提升策略的泛化性能。此外，数据集还促进了机器人仿真到真实世界迁移方法的发展，通过模拟数据增强技术减少对大量真实机器人试验的依赖，加速了双手机器人技术的实际部署进程。