gello-hil-dataset

该数据集是一个基于 LeRobot 框架构建的机器人操作数据集，使用 UR5 机械臂。数据包含动作指令（7维：6个关节位置+夹爪位置）和观测状态（同样7维关节位置+夹爪位置），以及来自前置摄像头和腕部摄像头的视频图像（分辨率480×640，RGB三通道）。数据以 parquet 格式存储结构化数据，以 mp4 格式存储视频，并按照 chunk 和 file 进行组织。数据集可用于机器人模仿学习、行为克隆、策略学习等任务。This dataset is a robotic manipulation dataset built on the LeRobot framework, utilizing the UR5 robotic arm. The data includes action commands (7-dimensional: 6 joint positions + gripper position) and observation states (also 7-dimensional joint positions + gripper position), as well as video images captured by the front-facing camera and wrist-mounted camera, with a resolution of 480×640 and three RGB channels. Structured data is stored in Parquet format, while video data is stored in MP4 format, and the entire dataset is organized by chunks and files. This dataset can be applied to tasks such as robotic imitation learning, behavioral cloning, and policy learning.

原始信息汇总

数据集概述：aliy98/gello-hil-dataset

基本信息

• 许可证: Apache 2.0
• 任务类别: 机器人学（Robotics）
• 标签: LeRobot
• 创建工具: 使用 LeRobot 框架创建

数据集结构

文件格式

• 数据文件: data/*/*.parquet (Parquet格式)
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 (MP4格式)

元数据信息

• 代码库版本: v3.0
• 机器人类型: UR5（通用机器人5型）
• 总片段数: 0
• 总帧数: 0
• 总任务数: 0
• 块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS

特征定义

动作数据（Action）

• 数据类型: float32
• 维度: 7
• 包含变量: 6个关节位置（joint_1.pos 至 joint_6.pos）和夹爪位置（gripper.pos）

观测状态（Observation State）

• 数据类型: float32
• 维度: 7
• 包含变量: 与动作数据相同的7个变量

图像数据（Observation Images）

• 前置摄像头（front）: 视频数据，分辨率480×640×3（高×宽×通道）
• 腕部摄像头（wrist）: 视频数据，分辨率480×640×3（高×宽×通道）

其他特征

• 时间戳（timestamp）: float32格式，维度1
• 帧索引（frame_index）: int64格式，维度1
• 片段索引（episode_index）: int64格式，维度1
• 索引（index）: int64格式，维度1
• 任务索引（task_index）: int64格式，维度1

引用信息

目前数据集的引用信息尚未提供（标记为“More Information Needed”）。

可视化工具

该数据集提供了可视化入口，可通过 数据集可视化空间 进行在线预览。

搜集汇总

数据集介绍

构建方式

该数据集基于先进的机器人学习框架LeRobot构建，通过人类示教的方式采集UR5机械臂的操作数据。数据采集过程以30帧每秒的频率记录，涵盖了机械臂七个关节的位置信息以及夹爪的开合状态。每个轨迹片段被组织为分块存储的Parquet文件，同时将高分辨率的视觉信息以H.264编码的视频格式独立保存，确保数据的高效存取与完整性。

特点

数据集兼具结构化与多模态特征，包含动作序列、状态观测以及前视与腕部双视角的视觉影像，可全面捕捉操作过程中的动态细节。数据格式统一且附带详尽的元数据，如时间戳、帧索引等，便于精确的时间对齐与同步分析。尽管当前仅含单条轨迹，但其设计规范且扩展性强，为后续大规模数据扩充奠定了坚实基础。

使用方法

该数据集遵循LeRobot的标准格式，可直接接入LeRobot库用于模仿学习等机器人学习任务。用户可借助HuggingFace平台的数据集可视化工具直观浏览样例，亦可通过内置的加载接口轻松导入数据，进行模型训练与评估。数据集采用Apache-2.0许可证发布，允许广泛的学术研究与商业应用，极大地促进了机器人操作技能的学习与迁移。

背景与挑战

背景概述

该数据集由HuggingFace LeRobot项目创建，基于UR5机械臂平台，记录了一次完整的机器人操作示范。数据集包含469帧、1个episode，采集了关节位置、夹爪状态以及前视和腕部摄像头的高清视频，用于模仿学习与机器人操作策略训练。其创建旨在为机器人学习领域提供标准化的演示数据，推动端到端学习及多模态感知研究。数据集采用Apache-2.0许可，发布于2024年，依托LeRobot开源生态，为工业与学术研究提供了可复用的数据基准。

当前挑战

数据集的构建面临多维度挑战。领域层面，机器人操作任务需处理高维连续动作空间、多传感器融合及动态环境，而数据量有限（单条轨迹）难以覆盖复杂策略泛化。构建过程中，同步多源数据（6维关节角、夹爪及双视角视频）需保证帧级对齐，且数据采集依赖人工遥操作，成本高、一致性受限。此外，视频编码与传感器噪声可能影响状态估计精度，对后续策略学习构成潜在瓶颈。

常用场景

经典使用场景

gello-hil-dataset数据集作为机器人学习领域的重要资源，尤其适用于模仿学习与行为克隆的研究。该数据集记录了UR5机械臂在人类示教下的操作序列，包含关节角度、末端执行器状态及多视角视觉观测，为训练机器人从人类示范中学习复杂操作技能提供了标准化的数据支撑。研究者可借助此数据集开展基于视觉的运动策略学习，或结合强化学习框架进行策略优化，推动机器人操作技能的泛化与迁移。

解决学术问题

该数据集解决了机器人学习研究中数据采集成本高昂、复现性差等关键问题。通过提供统一格式的示范数据，它使学者能够系统地比较不同算法的性能，促进了模仿学习、逆强化学习等前沿领域的实证研究。其结构化的数据组织方式为多模态融合、时序建模等学术挑战提供了理想的实验平台，有助于深入探索机器人从感知到动作的映射机制，推动智能机器人技术的理论发展。

衍生相关工作

基于此数据集，研究者已衍生出多项经典工作，如开发高效的视觉-运动策略学习算法、构建机器人操作技能的预训练模型，以及探索跨任务和跨环境的知识迁移方法。这些工作不仅丰富了模仿学习的理论体系，还催生了诸如LeRobot等开源工具链，推动了数据集的标准化和算法评估的规范化，为机器人学习社区提供了宝贵的参考与积累。