gibbonbot/eval_soarm101_pick_cubes_bboxes

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so100_follower",
"total_episodes": 5,
"total_frames": 4434,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:5"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"shape": [
6
],
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
]
},
"observation.state": {
"dtype": "float32",
"shape": [
6
],
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
]
},
"observation.images.top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据采集与表征是模仿学习与强化学习研究的基石。eval_soarm101_pick_cubes_bboxes数据集基于LeRobot框架构建，旨在为机械臂抓取立方体的任务提供标准化评估基准。该数据集通过so100_follower型机器人采集，共收录5个完整的操作回合（episodes），涵盖4434帧时序数据。数据以Parquet格式存储动作与状态序列，观测图像则以AV1编码的视频文件保存，确保了高保真度的视觉信息与紧凑的存储体积。所有数据依循统一的元信息结构组织，便于跨平台复用与复现实验。

特点

本数据集最显著的特征在于其多维度的观测与动作空间设计。动作与状态空间均包含6个维度，精确对应机器人肩部回转、肩部俯仰、肘部屈伸、腕部屈伸、腕部回转及夹爪开合等关节变量。视觉观测通道涵盖顶部与腕部两个视角，分辨率达480×640像素，以每秒30帧的帧率记录操作过程。数据集虽仅包含单一拾取任务，但5个回合的轨迹多样性为算法泛化能力提供了基础检验，且其Apache-2.0许可协议为学术与工业应用扫清了授权障碍。

使用方法

该数据集可通过LeRobot库便捷加载。用户需安装LeRobot及相关依赖，随后调用`load_dataset("eval_soarm101_pick_cubes_bboxes", split="train")`即可获取全部数据。返回的结构包含`action`、`observation.state`、`observation.images.top`、`observation.images.wrist`等键，分别对应6维控制指令、关节状态以及双视角RGB视频流。数据中的`episode_index`和`frame_index`字段方便按回合与帧号索引。鉴于数据集划分为训练集（索引0-4），建议直接将全部5个回合用于模型评估或微调，以验证策略在受限轨迹数据下的学习效果。

背景与挑战

背景概述

eval_soarm101_pick_cubes_bboxes数据集由LeRobot团队基于开源机器人学习框架创建，旨在推动机器人操作任务的模仿学习研究。该数据集聚焦于SO-100双臂机器人执行拾取立方体的精细操作任务，包含5个回合、4434帧的高质量动作与状态记录，通过顶部和腕部双视角摄像头以30帧/秒速度采集视觉信息，为机器人从示范中学习复杂抓取策略提供了标准化基准。其发布标志着机器人领域向低成本、可复现的数据驱动研究迈出重要一步，为后续开发通用操作模型奠定了数据基础。

当前挑战

该数据集所解决的领域问题在于机器人精细操作中动作序列的高维连续性与视觉-运动耦合的复杂性，传统规则方法难以泛化至多变物体与位姿。构建过程中面临的核心挑战包括：1）确保双臂协同控制的精度与安全性，避免自碰撞；2）在多视角高帧率视频记录下，实现动作指令与视觉帧的亚像素级时间同步；3）在有限回合中覆盖足够多样的初始条件，防止模型过拟合于特定排列。此外，数据标注的无歧义性及对长尾抓取姿态的平衡采样亦构成工程难点。

常用场景

经典使用场景

在机器人操作与模仿学习领域，eval_soarm101_pick_cubes_bboxes数据集为从人类示教数据中学习抓取策略提供了标准化训练资源。该数据集通过安装在so100_follower型机械臂上的顶部与腕部摄像头，以每秒30帧的速率同步采集高分辨率视觉观测与六维关节运动指令，完整记录了机械臂拾取立方体物体的操作轨迹。研究者可借助其中包含的4434帧时序数据，构建端到端的视觉运动策略模型，将原始像素输入直接映射至底层关节动作输出，从而复现精准的抓取行为。数据集的单任务聚焦特性使其特别适合验证模仿学习算法的样本效率与泛化能力，成为评估策略从有限示范中吸收操作技能的基准平台。

衍生相关工作

以此数据集为基石，衍生出若干重要研究方向与技术工作。行为克隆（Behavioral Cloning）方法常将其作为验证策略网络从示教轨迹直接学习动作映射的基准，与基于能量函数或扩散模型的生成式模仿学习进行对比。部分工作专注于多视角融合机制，探索如何结合顶部与腕部图像的空间互补性来增强对物体位姿的估计稳定性。在数据增强领域，研究者亦利用其时序特性开发对抗性扰动与动力学随机化的训练技巧，提升策略对未见过初始条件或光照变化的鲁棒性。这些工作共同构成了从原始示范到稳健策略的知识传递链条。

数据集最近研究

最新研究方向

该数据集聚焦于基于低成本机械臂SO-100的灵巧抓取与操控任务，是具身智能与机器人学习领域的前沿探索。随着开源机器人平台LeRobot的普及，研究人员开始关注如何利用小规模、高保真的遥操作数据训练通用操控策略。本数据集包含5个演示片段，记录了对立方体物体的拾取任务，并同步提供了6维关节状态与多视角视觉观测（顶部与腕部相机），为模仿学习与行为克隆提供了基准。其研究意义在于验证低样本量下策略泛化的可行性，并推动人形机械臂精细操作能力向真实世界部署迈进。当前热点集中在利用此类数据集结合扩散策略或Transformer架构，实现从少数示范中习得鲁棒性抓取技能，进而促进家居、工业等非结构化场景中的机器人自主化应用。