HSP-IIT/eval_act_roboarena_HRII_delta

该数据集是一个机器人操作相关的数据集，使用LeRobot创建。包含8个episodes，1260帧数据，1个任务。数据格式为parquet文件，包含动作（位置、方向、夹持器状态）、观测状态（位置、方向、夹持器状态）、图像（手腕和左侧RGB图像，分辨率480x640，10fps）等多种特征。视频文件使用AV1编码，无音频。

This dataset is related to robotic manipulation, created using LeRobot. It includes 8 episodes, 1260 frames, and 1 task. The data is stored in parquet format, containing various features such as actions (position, orientation, gripper state), observation states (position, orientation, gripper state), and images (wrist and left RGB images, resolution 480x640, 10fps). Video files are encoded with AV1 and have no audio.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动策略学习与泛化能力的关键。eval_act_roboarena_HRII_delta数据集由HSP-IIT团队基于LeRobot框架构建，专为评估机器人操作策略而设计。该数据集通过定制化的机械臂平台，在受控环境中采集了8个完整回合（episodes）的演示数据，共计1260帧，覆盖单一任务。数据以Parquet格式存储于分块文件中，同时配套了来自腕部和左侧的RGB视频流（AV1编码，480×640分辨率，10 FPS），确保了动作与视觉观测的同步记录。数据集遵循Apache-2.0开源协议，便于研究者自由使用与二次开发。

特点

该数据集的核心特点在于其精细的维度设计与紧凑的评估规模。动作空间与观测状态均定义为7维向量，涵盖三维位置、三维姿态及夹爪开合度，保证了操控指令的完整表达。视觉输入包含两个视角的RGB视频，为多模态学习提供了丰富信息。数据集总计包含1260帧，文件体积约为300 MB（数据100MB+视频200MB），规模小巧但功能完备，特别适合用于快速迭代的算法评估与基准测试。所有数据均被划分为训练集（0:8），且未设置验证与测试拆分，突出了其作为评估专用数据集的定位。

使用方法

使用eval_act_roboarena_HRII_delta数据集时，推荐结合LeRobot库进行高效加载与处理。研究者可通过HuggingFace提供的可视化界面直接预览数据内容。具体而言，可通过读取meta/info.json获取数据架构，并按chunk索引顺序访问Parquet数据文件与MP4视频文件。数据集原生支持序列帧与视频流的对齐读取，便于构建模仿学习或强化学习中的观测-动作对。由于所有回合均用于训练，用户可直接将其作为评估集，测试如ACT（Action Chunking with Transformers）等策略模型的性能。对于需要多视角输入的任务，可同时利用wrist_rgb与left_rgb通道进行融合训练。

背景与挑战

背景概述

eval_act_roboarena_HRII_delta数据集由HSP-IIT团队基于LeRobot框架构建，专注于机器人操作任务的模仿学习与评估。该数据集创建于近年来具身智能与机器人学习交叉领域蓬勃发展的时期，核心研究问题在于如何通过少量高质量演示数据，驱动机器人完成精确的抓取与操作动作。数据集包含8个演示片段、1260帧视频与状态信息，涵盖七维动作空间（包括位置、姿态与夹爪状态），并提供了腕部与左侧RGB双目视觉输入。作为评估高级模仿学习算法（如ACT）性能的基准，该数据集在机器人学习社区中具有重要参考价值，尤其为小样本场景下的策略泛化能力验证提供了标准化平台。

当前挑战

该数据集所应对的领域挑战在于，机器人操作任务中高维连续动作空间的建模与泛化难题，传统方法需依赖海量标注数据，而该数据集仅通过8个演示片段即需实现有效策略学习，对模型的样本效率与隐式表示能力提出了严苛要求。构建过程中的挑战则体现在双视点高分辨率视频（640×480）与七自由度动作流的高频同步采集（10 FPS），需克服硬件校准、时序对齐及数据压缩（AV1编码）带来的保真度损失。此外，数据量仅100 MB（视频200 MB）的有限规模，要求数据增强与策略约束技术必须具备强鲁棒性，以应对真实场景中的视觉噪声与动态干扰。

常用场景

经典使用场景

在现代机器人学与模仿学习的前沿探索中，高质量、多模态的数据集是驱动智能体从感知到行动跃迁的关键基石。eval_act_roboarena_HRII_delta数据集专为评估基于行为克隆与Transformer架构的机器人操控策略而设计，收录了8段完整操控轨迹，囊括1260帧时序数据。其核心用法在于通过多视角视觉输入（手腕摄像头与左侧摄像头）与七自由度动作及状态序列，训练机器人复现精细操作任务，尤其适用于验证ACT（Action Chunking with Transformers）等算法在未知动态环境中的泛化能力与稳健性。

解决学术问题

该数据集在学术层面聚焦于攻克模仿学习中数据效率低下与长程任务执行不稳定的痛点。通过提供标准化、带精确时序标注的操控示范，它助力研究者量化评估不同策略在接触式操作场景下的表现，并深入探讨视觉观测与低维状态融合对策略平滑性的影响。其发布推动了基于目标条件的模仿学习（GCRL）与分层强化学习范式的交叉验证，为机器人从演示中习得精确抓取与放置行为提供了可复现的基准，显著加速了领域内关于虚拟-现实迁移及因果干预机制的探索。

衍生相关工作

该数据集衍生了诸多具有影响力的研究工作，包括利用扩散策略（Diffusion Policy）对动作块进行概率生成的方法，以及针对观察-动作因果结构建模的隐式规划模型。后续研究进一步将其作为评估基准，检验了相对动作表示与动作分块增量（Action Chunking）策略在减少累积误差方面的有效性。同时，该数据集催生了面向双臂协作与工具使用场景的扩展版本，推动了模仿学习从单任务向组合技能库的进化，相关成果常发表于ICRA、CoRL及RSS等顶级机器人会议。