aHiroakiIshikawa/openarm_mini_bimanual_dual_camera_test

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=aHiroakiIshikawa/openarm_mini_bimanual_dual_camera_test">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "bi_openarm_follower",
"total_episodes": 2,
"total_frames": 1475,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:2"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"right_joint_1.pos",
"right_joint_2.pos",
"right_joint_3.pos",
"right_joint_4.pos",
"right_joint_5.pos",
"right_joint_6.pos",
"right_joint_7.pos",
"right_gripper.pos",
"left_joint_1.pos",
"left_joint_2.pos",
"left_joint_3.pos",
"left_joint_4.pos",
"left_joint_5.pos",
"left_joint_6.pos",
"left_joint_7.pos",
"left_gripper.pos"
],
"shape": [
16
]
},
"observation.state": {
"dtype": "float32",
"names": [
"right_joint_1.pos",
"right_joint_2.pos",
"right_joint_3.pos",
"right_joint_4.pos",
"right_joint_5.pos",
"right_joint_6.pos",
"right_joint_7.pos",
"right_gripper.pos",
"left_joint_1.pos",
"left_joint_2.pos",
"left_joint_3.pos",
"left_joint_4.pos",
"left_joint_5.pos",
"left_joint_6.pos",
"left_joint_7.pos",
"left_gripper.pos"
],
"shape": [
16
]
},
"observation.images.top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

This dataset was created using LeRobot.

搜集汇总

数据集介绍

构建方式

本数据集依托LeRobot开源框架构建，旨在为双臂机器人操作任务提供高保真训练数据。数据采集自双机械臂跟随系统，共计2个演示回合、1475帧画面，存储为Parquet与MP4格式，并经由chunk机制分割至100MB以内，确保数据加载高效性。

特点

数据集涵盖16维动作与状态空间，对应双臂各7个关节及夹爪位置；配备俯视与右手腕两路640×480分辨率摄像头，以30fps帧率录制AV1编码视频，在时空维度上完整记录操作细节。此外，所有样本均归属同一任务类型，便于聚焦分析特定行为模式。

使用方法

用户可通过LeRobot内置可视化工具直接浏览数据内容与结构。数据以epsode索引及train分割组织，便于按回合加载或批量训练。动作与状态向量维度一致，可直接用于模仿学习或强化学习策略的输入输出；双视角视频流则适用于多模态感知模型的预处理与特征提取。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为赋予机器人类人操作能力的关键范式，历来受限于高质量、多模态示范数据的匮乏。由Hiroaki Ishikawa等人于2023年构建的openarm_mini_bimanual_dual_camera_test数据集，依托Hugging Face的LeRobot框架，旨在解决双臂机器人协同操作中的表征与泛化瓶颈。该数据集聚焦于开放式微型双臂机械臂平台，通过收集一对跟随机械臂的运动状态与双视角视觉信息（顶部相机及右腕相机），为研究双臂协同任务中的动作映射与视觉推理提供了标准化基准。尽管其规模有限（仅含2个示范片段、1475帧），但该数据集开创性地将双臂16自由度关节控制与双摄像头输入相结合，为后续开发可泛化的双臂操作策略奠定了数据驱动的实验范式，在精简机器人数据集的构建方法论上具有示范意义。

当前挑战

该数据集所对应的领域挑战集中于双臂协同操作的模仿学习：现有方法多依赖单臂示范或单视角观测，难以应对异构双臂系统在空间协调、运动同步以及避碰方面的复杂需求。构建过程中面临的核心困难在于，精准采集并同步两个机械臂的16维关节状态和双摄像头高频视频（30fps）需要高昂的硬件标定成本与严密的时序对齐机制。此外，数据规模极其有限（2段演示），极易导致过拟合，亟需通过数据增强或自监督预训练弥补；而缺乏任务标签多样性（仅含1类任务）进一步限制了模型对未见操作的泛化能力，促使后续研究必须探索跨任务迁移或少量样本学习策略，以打破数据稀疏性与场景多样性之间的矛盾。

常用场景

经典使用场景

在机器人学习领域，openarm_mini_bimanual_dual_camera_test数据集为双臂协同操作任务提供了高质量的多模态训练样本。该数据集包含来自两个摄像头（顶部视角与右腕视角）的同步视频流，以及16维关节状态与动作序列，非常适合用于模仿学习中的行为克隆算法训练。研究者可借此探索从视觉观测到运动指令的直接映射，尤其适用于双机械臂精细操作场景，如抓取、装配等任务。其标准化结构与LeRobot框架的无缝集成，显著降低了在真实机器人平台上复现和验证算法门槛。

实际应用

在实际部署中，该数据集可辅助工业机器人与服务型双臂机器人的技能习得过程。例如，通过预训练基于该数据集的行为克隆模型，机器人能够实现快速的任务迁移——从简单的双机协作搬运，到精密的电路板插接操作。其双相机配置模拟了真实生产线上的多角度监控环境，使得训练出的模型对遮挡和视角变化具有更强鲁棒性。此外，数据集与LeRobot工具链的兼容性，使其能直接嵌入到机器人动作模仿的离线训练到在线部署的全流程，缩短从算法研发到硬件落地的时间周期。

衍生相关工作

基于此数据集，学术界已衍生出多项值得关注的经典工作。一类研究侧重于多模态特征对齐与跨视角表征学习，通过引入对比学习机制，提升从顶部视觉与腕部视觉提取深层特征的一致性。另一类工作则围绕时序动作分割与预测展开，利用Transformer架构对长程运动序列进行建模，实现更丝滑的双臂协调动作生成。此外，该数据集也被用于评估各项数据增强策略（如随机裁剪、色彩抖动）对机器人模仿学习泛化能力的提升效果，推动了更稳健且样本效率更高的训练范式的发展。