kd-forge/aloha_sim_transfer_cube_insertion

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kd-forge/aloha_sim_transfer_cube_insertion">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "aloha",
"total_episodes": 200,
"total_frames": 85000,
"total_tasks": 2,
"chunks_size": 1000000,
"data_files_size_in_mb": 10000,
"video_files_size_in_mb": 50000,
"fps": 50,
"splits": {
"train": "0:200"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 50.0,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
}
},
"observation.state": {
"dtype": "float32",
"shape": [
14
],
"names": {
"motors": [
"left_waist",
"left_shoulder",
"left_elbow",
"left_forearm_roll",
"left_wrist_angle",
"left_wrist_rotate",
"left_gripper",
"right_waist",
"right_shoulder",
"right_elbow",
"right_forearm_roll",
"right_wrist_angle",
"right_wrist_rotate",
"right_gripper"
]
},
"fps": 50
},
"action": {
"dtype": "float32",
"shape": [
14
],
"names": {
"motors": [
"left_waist",
"left_shoulder",
"left_elbow",
"left_forearm_roll",
"left_wrist_angle",
"left_wrist_rotate",
"left_gripper",
"right_waist",
"right_shoulder",
"right_elbow",
"right_forearm_roll",
"right_wrist_angle",
"right_wrist_rotate",
"right_gripper"
]
},
"fps": 50
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"names": null,
"fps": 50
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

---
许可证: Apache-2.0
任务范畴:
- 机器人学
标签:
- LeRobot
配置项:
- 配置名称: default
数据文件路径: data/*/*.parquet
---

本数据集基于[LeRobot](https://github.com/huggingface/lerobot)开发构建。

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kd-forge/aloha_sim_transfer_cube_insertion">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## 数据集说明
- **项目主页:** [需补充更多信息]
- **相关论文:** [需补充更多信息]
- **许可证:** Apache-2.0

## 数据集结构
[meta/info.json](meta/info.json) 为数据集元信息文件，其内容如下：
json
{
"代码库版本": "v3.0",
"机器人类型": "aloha",
"总回合数": 200,
"总帧数": 85000,
"任务总数": 2,
"数据块大小": 1000000,
"数据文件总大小（MB）": 10000,
"视频文件总大小（MB）": 50000,
"帧率": 50,
"数据集划分": {
"训练集": "0:200"
},
"数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"观测数据.顶部摄像头图像": {
"数据类型": "视频",
"形状": [
480,
640,
3
],
"维度名称": [
"高度",
"宽度",
"通道"
],
"视频信息": {
"视频帧率": 50.0,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"是否包含音频": false
}
},
"观测数据.关节状态": {
"数据类型": "32位浮点数",
"形状": [
14
],
"维度命名": {
"电机关节": [
"左腰部",
"左肩部",
"左肘部",
"左前臂旋转",
"左腕关节角度",
"左腕关节旋转",
"左夹爪",
"右腰部",
"右肩部",
"右肘部",
"右前臂旋转",
"右腕关节角度",
"右腕关节旋转",
"右夹爪"
]
},
"帧率": 50
},
"动作指令": {
"数据类型": "32位浮点数",
"形状": [
14
],
"维度命名": {
"电机关节": [
"左腰部",
"左肩部",
"左肘部",
"左前臂旋转",
"左腕关节角度",
"左腕关节旋转",
"左夹爪",
"右腰部",
"右肩部",
"右肘部",
"右前臂旋转",
"右腕关节角度",
"右腕关节旋转",
"右夹爪"
]
},
"帧率": 50
},
"回合索引": {
"数据类型": "64位整数",
"形状": [
1
],
"维度命名": null
},
"帧索引": {
"数据类型": "64位整数",
"形状": [
1
],
"维度命名": null
},
"时间戳": {
"数据类型": "32位浮点数",
"形状": [
1
],
"维度命名": null
},
"下一回合结束标记": {
"数据类型": "布尔型",
"形状": [
1
],
"维度命名": null,
"帧率": 50
},
"全局索引": {
"数据类型": "64位整数",
"形状": [
1
],
"维度命名": null
},
"任务索引": {
"数据类型": "64位整数",
"形状": [
1
],
"维度命名": null
}
}
}

## 引用信息
**BibTeX格式引用：**
bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人灵巧操作任务提供高质量的模仿学习数据。数据采集依托ALOHA双臂机器人平台，通过遥操作方式记录专家在木块插入任务中的完整演示。每个演示片段（episode）均以50Hz的采样率同步保存14维关节状态与动作序列，以及来自顶部视角的640×480分辨率RGB视频流。数据集共包含200个演示回合，累计85000帧有效数据，覆盖两种不同的任务变体，并以Parquet格式高效存储运动学数据，视频则采用AV1编码压缩为MP4文件。训练集与验证集采用简单的时间顺序划分，确保数据分布的连续性。

特点

该数据集最显著的特征在于其高度结构化的多模态融合设计。每一帧数据均同步记录了机器人的完整状态信息——包括左、右臂各七个自由度的关节角度与夹爪开合度——以及与之对应的专家动作指令，为行为克隆等算法提供了直接的输入-输出配对。顶部摄像头提供的视觉观测不仅丰富了环境感知维度，也为视觉-运动策略的联合学习奠定了基础。此外，200个演示回合的规模虽不庞大，但足以覆盖木块插入任务中的关键操作变异性，配合AV1高效视频编码与Parquet列式存储，在保证数据完整性的同时显著降低了存储开销。

使用方法

使用该数据集时，可借助LeRobot库提供的标准化API轻松加载与预处理。用户通过指定数据集路径即可将Parquet格式的运动数据与视频流自动对齐，生成包含观测图像、关节状态及动作序列的批量样本。数据已按时间顺序划分为训练集（前200个回合），适用于训练端到端的模仿学习模型。研究者可基于14维连续动作空间设计策略网络，或将顶部相机图像作为视觉输入构建视觉运动策略。评估时可直接在仿真或真实ALOHA平台上回放学习到的动作序列，并对比插入成功率。数据集的内存友好设计也支持在消费级GPU上进行小批量训练实验。

背景与挑战

背景概述

在机器人学习领域，模仿学习因其能够直接从人类演示中习得复杂技能而备受关注。aloha_sim_transfer_cube_insertion数据集由Hugging Face社区与LeRobot框架协同创建，于近期发布，旨在推动双臂机器人精细操作技能的研究。该数据集聚焦于方块插入任务，涵盖200个演示回合，总计约85,000帧，包含来自14个自由度（左、右臂各7个电机）的状态与动作信息，以及顶视摄像头的高清视频记录。其核心研究问题在于如何通过仿真环境中的演示数据，实现从模拟到真实世界的技能迁移，特别是在需要精确协调双臂的精密装配场景中。该数据集为评估模仿学习算法在复杂、高精度任务上的泛化能力与鲁棒性提供了标准化基准，对机器人操作技能学习领域产生了显著影响。

当前挑战

该数据集所应对的核心领域挑战在于高精度双臂操作技能的模仿与迁移，具体包括：1) 如何从有限的200个演示中学习可泛化的策略，以应对真实环境中物体位置、姿态的细微变化；2) 如何在14自由度的高维行动空间中，通过视觉与状态信息的融合，实现亚毫米级精度的精确插入。在构建过程中，挑战集中于：1) 确保仿真环境与真实物理环境之间的动态一致性，以最小化模拟到真实迁移中的性能损失；2) 同步采集50 FPS的高频视觉与关节状态数据，并处理传感器噪声与延迟；3) 设计有效的演示采集协议，覆盖插入任务中的多样化失败与成功案例，避免策略过拟合于单一轨迹模式。

常用场景

经典使用场景

在机器人模仿学习领域，aloha_sim_transfer_cube_insertion数据集以其精细化的双机械臂协同操作数据而著称。该数据集通过ALOHA机器人平台收集，包含200个演示片段、总计85000帧的高频观测（50Hz），涵盖14维关节状态与动作空间，以及来自顶部摄像头的视觉流。其最经典的使用场景在于训练机器人完成方块插入这类高精度装配任务——模型需从观测序列中学习双臂协调策略，实现对刚体零件毫米级误差的容错抓取与柔顺装配。

衍生相关工作

该数据集催生了多项标志性研究：基于扩散策略的动作生成模型利用其多模态演示分布，实现了比传统高斯混合模型更平滑的轨迹预测；Sparse化架构研究则通过分析其14维动作空间的稀疏性，设计了轻量级Transformer以提升推理速度。此外，对比学习框架借助数据集的视角一致性，在跨场景迁移中取得了突破，而闭环行为克隆方法通过引入该数据集的时序误差反馈，显著提升了长程任务的鲁棒性。

数据集最近研究

最新研究方向

aloha_sim_transfer_cube_insertion数据集聚焦于机器人灵巧操作中的方块插入任务，属于模仿学习与仿真到现实迁移（Sim-to-Real）的前沿方向。该数据集基于ALOHA双机械臂平台，采集了200个演示片段、共8.5万帧高频率（50FPS）的视觉与状态-动作序列，涵盖多种任务变体，为研究细粒度动作生成与多模态感知融合提供了高质量基准。近期研究热点集中于利用大规模演示数据训练基于扩散策略或Transformer架构的机器人基础模型，以提升在非结构化环境中的泛化能力。该数据集的发布对推动机器人技能学习从实验室仿真向工业装配、家庭服务等真实场景的转化具有重要的支撑意义，尤其为低成本、可复现的灵巧操作研究开辟了新路径。