aiwhisperer/left-aruco-grab-april10

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so101_follower",
"total_episodes": 9,
"total_frames": 1317,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:9"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.left": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

许可证: Apache-2.0
任务类别:
- 机器人学
标签:
- LeRobot
配置项:
- 配置名称: default
数据文件: data/*/*.parquet
---

本数据集基于LeRobot构建。

## 数据集说明
- **项目主页:** [暂无更多信息]
- **学术论文:** [暂无更多信息]
- **许可证:** Apache-2.0

## 数据集结构
[meta/info.json](meta/info.json):
json
{
"代码库版本": "v3.0",
"机器人类型": "so101_follower",
"总回合数": 9,
"总帧数": 1317,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（单位：兆字节）": 100,
"视频文件总大小（单位：兆字节）": 200,
"帧率": 30,
"数据集划分": {
"训练集": "0:9"
},
"数据路径模板": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频路径模板": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"动作": {
"数据类型": "float32",
"特征名称": [
"肩部旋转关节位置",
"肩部抬升关节位置",
"肘部弯曲关节位置",
"腕部弯曲关节位置",
"腕部旋转关节位置",
"夹爪位置"
],
"形状": [
6
]
},
"观测状态": {
"数据类型": "float32",
"特征名称": [
"肩部旋转关节位置",
"肩部抬升关节位置",
"肘部弯曲关节位置",
"腕部弯曲关节位置",
"腕部旋转关节位置",
"夹爪位置"
],
"形状": [
6
]
},
"左侧观测图像": {
"数据类型": "视频",
"形状": [
720,
1280,
3
],
"维度说明": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频高度": 720,
"视频宽度": 1280,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"非深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"无音频轨道": false
}
},
"右侧观测图像": {
"数据类型": "视频",
"形状": [
720,
1280,
3
],
"维度说明": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频高度": 720,
"视频宽度": 1280,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"非深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"无音频轨道": false
}
},
"时间戳": {
"数据类型": "float32",
"形状": [
1
],
"特征名称": null
},
"帧索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"回合索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"全局索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"任务索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
}
}
}

## 引用
**BibTeX格式:**
bibtex
[暂无更多信息]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在记录机器人执行抓取AprilTag标记物任务的过程。数据通过SO101跟随机器人采集，包含9个完整回合（episode），总计1317帧视频与状态信息。所有数据以Parquet格式存储于分块文件中，视频以AV1编码的MP4格式分别保存左右摄像头视角的720p图像。数据集结构遵循统一的meta/info.json配置，特征包括6维关节动作（如shoulder_pan.pos、gripper.pos）及同等维度的观测状态，并辅以时间戳、帧索引等元数据。训练集与测试集的划分默认为全部9个回合用于训练，未设置验证子集。

特点

数据集的核心特色在于多模态感知与精细动作的同步记录，同时提供左右两个高清摄像头（1280x720分辨率，30 FPS）的视觉输入与机器人本体6自由度关节状态，为模仿学习提供丰富的观测空间。数据包含9个回合共1317帧，虽然规模较小，但聚焦于单一抓取任务，确保了领域内的高一致性。此外，LeRobot框架的标准化格式（如分块存储、视频编解码参数明确）便于跨场景复用，且Apache 2.0许可进一步降低了学术与工业应用的壁垒。

使用方法

数据集的典型使用场景为基于模仿学习的机器人控制模型训练。用户可通过LeRobot库加载Parquet文件，提取动作序列（action）与对应观测（包括关节状态observation.state及左右摄像头图像observation.images.left/right）。支持以帧或回合为单位进行采样，用于策略学习（如行为克隆或扩散模型）。此外，因数据已包含明确的特征命名与维度，可直接输入至深度学习框架（如PyTorch）进行训练。建议将全部9个回合作为训练集，若需验证效果，可自行划分部分回合作为测试数据。

背景与挑战

背景概述

在机器人操作学习领域，模仿学习依赖于高质量、多样化的示教数据集来训练策略网络。left-aruco-grab-april10数据集由Hugging Face LeRobot社区于近期创建，针对so101_follower机器人平台，围绕单一抓取任务（利用左侧ArUco标记进行定位与抓取）收集了9个演示片段，共计1317帧数据。该数据集以30帧/秒的速度记录，提供了关节位置动作、状态及双视角高清视觉观测，为研究基于视觉的机器人抓取、动作规划与状态估计提供了标准化参考。其开源的Apache-2.0许可证促进了社区内的算法复现与基准测试，对推动低样本、高精度的机器人操作模型具有重要价值。

当前挑战

当前数据集面临的主要挑战包括：1）领域问题层面，机器人抓取任务需同时解决视觉感知中的ArUco标记检测鲁棒性、关节空间到操作空间的精确映射，以及从有限演示中泛化到不同物体位姿和光照条件的能力；2）构建过程中，由于仅包含9个片段，数据规模较小，易导致模仿学习策略过拟合，且单一任务类型限制了多任务泛化能力的验证；此外，双摄像头的高保真视频存储（高达720p）对大容量数据管理提出要求，而30Hz的高频采样需要高效的时间对齐与标注一致性处理，以确保状态-动作映射的准确性。

常用场景

经典使用场景

在机器人学习与模仿学习领域，left-aruco-grab-april10数据集为研究者提供了一个精细化的操作基准。该数据集聚焦于机械臂抓取任务，通过so101_follower型机器人，在ArUco标记辅助下采集了9个完整回合、共计1317帧的高频运动数据。其核心特征包括六维关节空间动作序列（肩部俯仰、肘部弯曲、腕部屈伸及夹爪开合）及左右立体视觉图像流（720p/30fps），为行为克隆、逆强化学习等算法提供了端到端的训练与验证环境。数据的紧凑结构（总视频约200MB）使得快速原型迭代成为可能，尤其适用于验证机器人从视觉输入到关节级动作的映射能力。

衍生相关工作

该数据集衍生出多项机器人学习领域的关键研究工作。以模仿学习为主线，研究者借鉴其状态-动作对齐范式，开发了基于扩散策略的高维动作生成模型，显著提升了抓取动作的鲁棒性与多样性。在视觉预训练方向，数据集中的左右视图被用于训练视觉-语言-动作联合嵌入，使机器人能在自然语言指令下泛化至未知物件抓取。更前沿的探索包括利用其有限回合数据构建元学习框架，通过任务环境快速适应实现跨结构迁移——这些工作共同构建了从单任务演示到多技能泛化的技术谱系，深刻影响了机器人行为克隆与强化学习的融合路径。

数据集最近研究

最新研究方向

在机器人学习与模仿学习的前沿领域，left-aruco-grab-april10数据集聚焦于基于视觉的机械臂精准抓取任务，其核心价值在于为多模态机器人行为克隆提供标准化训练样本。该数据集收录了9个操作轨迹，包含1317帧高分辨率立体视觉数据（720×1280），并通过6维关节状态与动作空间对齐，使得研究者能够探索从像素到运动控制端到端映射的深度强化学习范式。结合LeRobot开源生态，这一数据集正推动具身智能体在非结构化环境中泛化能力的突破，例如结合扩散策略或Transformer架构实现细粒度抓取策略的涌现。该资源所支撑的快节奏机器人操作研究，与工业自动化、人机协作等热点事件紧密关联，为降低真实机器人大规模数据采集成本提供了可复现的基准，进而加速了通用操作智能体从模拟环境向真实场景迁移的进程。