hil-dataset

该数据集由LeRobot项目创建，专用于机器人技术研究的离线强化学习，采用Apache 2.0许可协议。它包含1个完整episode，总计1381个时间步（帧），对应1个任务。数据以Parquet格式存储，大小约100 MB，并附带约200 MB的关联视频文件，视频帧率为30 FPS。每个样本（帧）包括以下特征：动作（action，7维浮点向量表示UR5机器人6个关节和1个夹爪的位置指令）、状态观测（observation.state，7维浮点向量表示机器人关节和夹爪的当前状态位置）、图像观测（来自前部摄像头observation.images.front和腕部摄像头observation.images.wrist的视频数据，每帧分辨率为640x480，RGB格式，H.264编码），以及时间戳、帧索引、episode索引、全局索引和任务索引等元数据。数据集目前仅提供训练集划分，适用于机器人模仿学习、离线强化学习、行为克隆等任务，特别是涉及UR5机器人臂和视觉反馈的研究。This dataset is created by the LeRobot project for offline reinforcement learning research in robotics, under the Apache 2.0 license. It contains 1 complete episode with a total of 1381 time steps (frames), corresponding to 1 task. The data is stored in Parquet format with a size of approximately 100 MB, along with associated video files totaling about 200 MB and a frame rate of 30 FPS. Each sample (frame) includes the following features: action (a 7-dimensional floating-point vector representing position commands for the UR5 robots 6 joints and 1 gripper), state observation (observation.state, a 7-dimensional floating-point vector indicating the current state positions of the robot joints and gripper), image observations (video data from a front camera, observation.images.front, and a wrist camera, observation.images.wrist, with each frame at 640x480 resolution, RGB format, and H.264 encoding), as well as metadata such as timestamp, frame index, episode index, global index, and task index. The dataset currently only includes a training split and is suitable for tasks like robot imitation learning, offline reinforcement learning, and behavior cloning, particularly for research involving UR5 robot arms and visual feedback.

原始信息汇总

数据集概述

• 数据集名称: hil-dataset
• 存储地址: https://huggingface.co/datasets/aliy98/hil-dataset
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot

数据集详情

• 创建工具: 使用 LeRobot 创建
• 机器人类型: UR5
• 总片段数: 1
• 总帧数: 1381
• 总任务数: 1
• Chunk 大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据集划分: 训练集 (索引 0 至 1)

数据特征

• action (动作): 7 维向量，浮点32类型，包含 6 个关节位置和 1 个夹爪位置
• observation.state (观测状态): 7 维向量，浮点32类型，与 action 名称相同
• observation.images.front (前摄像头图像): 视频数据，分辨率 480×640，3 通道，H.264 编码，30 FPS
• observation.images.wrist (腕部摄像头图像): 视频数据，分辨率 480×640，3 通道，H.264 编码，30 FPS
• timestamp (时间戳): 浮点32类型，1 维
• frame_index (帧索引): 整数64类型，1 维
• episode_index (片段索引): 整数64类型，1 维
• index (索引): 整数64类型，1 维
• task_index (任务索引): 整数64类型，1 维

数据文件结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 配置文件: default 配置，数据文件路径为 data/*/*.parquet

可视化

• 可通过 可视化界面 预览数据集

引用信息

• 暂无引用信息 (BibTeX 待补充)

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操控领域，以UR5机械臂为核心载体。数据采集过程中，通过记录机械臂七个关节的位置信息（joint_1至joint_6及gripper）作为动作与状态观测值，同时利用前置与腕部摄像头以30帧/秒的速率捕捉640×480像素的RGB视频流。数据集共包含1个演示轨迹，总计1381帧，数据以Parquet格式分块存储于data目录下，每块容量为1000帧；视频文件则采用H.264编码的MP4格式保存，形成结构化的存储体系。

特点

该数据集的核心特点在于其多模态信息融合与标准化结构。除7维的关节位置动作与状态数据外，还同步提供了高分辨率视觉观测，涵盖前置和腕部两个视角的实时视频，为模仿学习与视觉伺服任务提供了丰富输入。数据集遵循LeRobot的v3.0规范，支持按帧索引、时间戳和任务标识进行检索，训练集与测试集通过预设分割实现有序划分。此外，其Chunk与File双层级存储设计便于大规模数据的高效加载与流式处理。

使用方法

数据集可通过LeRobot库便捷加载，用户需指定数据路径及config_name为default以读取Parquet与视频文件。利用LeRobot的数据加载器，研究者能按需获取动作序列、状态向量及图像帧，适用于离线策略学习如行为克隆或强化学习中的经验回放。建议将数据集按默认的train分割（0至1）用于模型训练，通过frame_index与episode_index对齐不同模态数据。若需可视化，HuggingFace提供的交互式工具可直接浏览轨迹内容，简化数据探索流程。

背景与挑战

背景概述

在机器人学习领域，构建大规模、高质量的示范数据集是推动具身智能研究的关键瓶颈之一。hil-dataset由Hugging Face LeRobot团队创建，旨在为机械臂操作任务提供标准化的数据采集与基准测试平台，其核心研究问题聚焦于如何利用人类示教（Human-in-the-Loop）实现高效的机器人技能学习。该数据集于2024年发布，采用Apache-2.0许可证开放，依托UR5协作机器人平台，通过单条包含1381帧、时长约46秒的完整任务演示，记录了7维关节空间的动作与状态序列，以及前置与腕部双视角的640×480视频流，为模仿学习与行为克隆算法提供了细粒度的多模态观测样本。尽管体量较小，其框架设计体现了LeRobot生态中数据格式标准化与可复现性的核心理念，对推动低样本机器人学习研究具有标杆意义。

当前挑战

该数据集所解决的领域挑战在于：机器人操作任务通常面临高维连续动作空间、部分可观测环境以及样本效率低下等问题，人类示教数据虽能提供隐式的任务先验，但如何从有限演示中泛化出鲁棒策略仍是核心难题。在构建层面，数据集面临多重挑战：首先，单条轨迹数据仅覆盖单一任务场景，缺乏任务变体与失败案例，可能限制模型对噪声扰动和动态环境的适应性；其次，视频采集采用30帧/秒的H.264编码，虽降低存储开销，但压缩伪影可能影响基于视觉的精细操作特征提取；此外，数据包含多模态时间同步问题，需要严格对齐关节传感器采样（30Hz）与图像流（30fps）的时序戳；最后，当前规模（100MB数据与200MB视频）难以支撑大规模离线强化学习训练，亟需通过迁移学习或数据增强策略突破小样本瓶颈。

常用场景

经典使用场景

在机器人学习与模仿学习的浩瀚领域中，hil-dataset 作为一座桥梁，连接了人类直觉与机器精确执行。该数据集的核心设计理念在于捕捉人机交互过程中细腻的操作轨迹，通过记录 UR5 机械臂在 30 帧每秒的高时间分辨率下，执行任务时关节位置与末端夹爪状态的完整序列，为行为克隆和逆强化学习算法提供了理想的训练范本。其经典用法聚焦于基于视觉的模仿学习，研究者可利用其提供的前置与腕部双视角视频流，联合关节状态与动作序列，训练端到端的策略网络，使机器人能够复现诸如精密抓取、装配等复杂操作。这套包含 1381 帧的高保真数据，特别适合研究多模态融合下的动作生成与长时序决策问题。

解决学术问题

在学术研究的前沿阵地上，hil-dataset 精准回应了机器人技能学习领域中数据稀缺与泛化困难的核心矛盾。它解决了传统示教学习中，因数据维度单一或噪声较大导致的策略脆弱性问题，通过提供高一致性的人机示教轨迹和同步的多视角视觉观测，为探究因果推断在模仿学习中的应用、细粒度操作策略的鲁棒性分析等提供了坚实的数据基石。该数据集的意义在于打破了通用仿真数据与真实物理世界之间的鸿沟，使研究者能够更关注于信号表征、时序建模与跨任务泛化等深层次机理，从而推动了基于真实物理平台的通用操作智能理论的发展与验证。

衍生相关工作

hil-dataset 作为基于 LeRobot 生态构建的示范性数据集，启发了一系列与之紧密关联的经典研究工作。在算法层面，它推动了针对稀疏奖励和长时域任务的分层模仿学习方法的兴起，开启了关于在真实机器人上结合对比学习预训练与基于能量模型策略的探索。此外，数据集的双视角视频与精密动作对齐结构，催生了利用扩散模型（Diffusion Models）生成机器人动作序列的里程碑式工作，例如基于条件扩散策略的高阶动作生成与平滑控制。这些衍生的研究不仅验证了数据集在评估机器人基础模型方面的标杆价值，还进一步将其范式拓展至灵巧手操作与移动操作臂等更为广阔的学术课题中。