StyTJU/grab_charger50

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 50,
"total_frames": 19606,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:50"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.side": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

grab_charger50数据集基于LeRobot框架构建，专为机器人学习研究设计。该数据集包含50个示范轨迹，共计19606帧图像和对应的动作序列，数据由SO Follower机械臂在单一任务场景下采集完成。所有数据以1000帧为单元分块存储于Parquet格式文件中，同时保留了来自正面和侧面两个视角的640×480分辨率视频流，编码采用AV1格式以确保压缩效率与视觉保真度的平衡。

特点

本数据集的核心特点在于其精心设计的结构化特征空间，每个时间步记录6维连续动作信号与对应状态观测，涵盖肩关节的旋转与升降、肘部屈伸、腕部弯折与旋转以及末端夹爪位置等关键自由度。此外，数据中的时间戳、帧序号、回合索引等元信息为机器人模仿学习中的时间对齐与序列建模提供了便利，而完整的数据划分与视频-状态-动作的联合存储模式则显著降低了多模态机器人数据集处理的复杂度。

使用方法

使用grab_charger50数据集时，建议采用LeRobot库中的标准数据加载器，通过指定配置名称‘default’即可自动读取所有Parquet分块文件与对应的MP4视频。研究者可依据预处理后的‘action’与‘observation.state’数组直接训练行为克隆或强化学习策略，同时利用‘observation.images.front’与‘observation.images.side’两个视觉流作为模型的图像观测输入。该数据集预设了完整的训练集（0至49回合），无需额外划分即可投入模型训练与评估流程之中。

背景与挑战

背景概述

grab_charger50数据集由LeRobot社区创建，旨在推动机器人操控领域的技能学习研究。该数据集于2024年发布，通过SO-Follower机器人平台采集，专注于“抓取充电器”这一精细操作任务，包含50个完整演示片段与19606帧高保真数据，涵盖6自由度关节动作、状态信息及双视角视频流（前视与侧视），为模仿学习与行为克隆算法提供了标准化训练基准。作为开源资源（Apache-2.0许可），它简化了从真实机器人演示到策略泛化的流程，在机器人技能迁移与数据驱动控制领域具有重要应用价值。

当前挑战

本数据集所解决的领域挑战在于，机器人抓取类任务常受限于演示数量不足与动作多样性缺失，难以实现鲁棒的泛化能力。grab_charger50通过50个精心编排的演示，针对充电器这类柔性物体，要求算法从多模态观测（图像与关节状态）中提取不变特征。构建过程中，挑战包括确保SO-Follower机器人精确复现人机遥操作轨迹，同步30帧每秒的高清视频与6维动作数据，以及平衡episode数量与数据质量，避免过拟合于固定场景或光照条件，从而为后续扩展至更复杂操作奠定基础。

常用场景

经典使用场景

在机器人操作与模仿学习领域，grab_charger50数据集凭借其精心采集的抓取充电器任务数据，成为训练机器人从视觉输入直接映射到关节动作的经典基准。数据集包含50个完整演示回合，涵盖近两万帧的高保真状态与动作序列，通过双视角摄像头记录环境影像，并以六维关节空间动作（包括肩部、肘部、腕部及夹爪）为输出标签，为基于视觉的运动策略学习提供了结构化的训练素材。研究者常利用该数据集评估模仿学习算法在精细操作任务上的泛化能力，例如基于行为克隆或扩散策略的模型能否准确复现充电器抓取轨迹。

解决学术问题

grab_charger50数据集聚焦于机器人抓取操作中的关键学术问题——如何在有限示范数据下实现高精度、可泛化的技能习得。该数据集通过标准化动作空间与多模态观测（状态+图像），支持研究从低维状态到高维视觉的策略迁移难题，例如缓解域适应中的仿真-现实差距。其简洁的任务设置（单一抓取动作）为对比不同算法（如隐式策略vs显式规划）在欠样本场景下的收敛性能提供了可控实验平台，推动了关于示范质量、数据效率与任务复杂度之间权衡关系的理论探索。

衍生相关工作

作为LeRobot生态体系的一部分，grab_charger50数据集催生了多项关于数据增强与多任务学习的衍生研究。工作如‘MultiEmbodiment Imitation Learning’利用该数据集的格式化动作空间验证了跨机器人结构的知识迁移有效性；另一些研究则基于其时间序列特性开发了因果推断框架，探索动作片段的分割与重构。此外，该数据的视频模态与关节角度标签组合，启发了结合神经辐射场进行三维轨迹重建的方法，推动操作可解释性向细粒度方向发展。