eval2_grb_b_eval1prompt

该数据集是一个专为机器人控制任务设计的机器学习数据集，使用LeRobot工具创建。它包含5个完整的训练片段（episodes），总计3000帧数据，对应一个具体任务。数据采用分块存储格式，包括100MB的Parquet数据文件和200MB的MP4视频文件。核心特征涵盖：6维关节位置动作指令（action）、6维机器人关节状态观测（observation.state）、来自前置摄像头的视觉观测（observation.images.front，分辨率为480x640，RGB三通道，帧率30fps），以及时间戳（timestamp）、帧索引（frame_index）、片段索引（episode_index）、全局索引（index）和任务索引（task_index）等元数据字段。视频采用AV1编码。数据集适用于机器人模仿学习、强化学习、视觉伺服控制等研究场景，特别针对so_follower型机器人平台。数据已划分为训练集，包含全部5个片段。

This dataset is a machine learning dataset designed for robot control tasks, created using the LeRobot tool. It contains 5 complete training episodes, totaling 3000 frames of data, corresponding to one specific task. The data is stored in a chunked format, including a 100MB Parquet data file and a 200MB MP4 video file. Core features include: 6-dimensional joint position action commands (action), 6-dimensional robot joint state observations (observation.state), visual observations from a front-facing camera (observation.images.front, with a resolution of 480x640, RGB three-channel, 30fps), and metadata fields such as timestamp, frame_index, episode_index, index, and task_index. The video uses AV1 encoding. The dataset is suitable for research scenarios like robot imitation learning, reinforcement learning, and visual servoing control, specifically targeting the so_follower robot platform. The data has been divided into a training set, which includes all 5 episodes.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人模仿学习任务设计。数据采集自so_follower机器人平台，共包含5个完整操作回合，总计3000帧数据，对应单一任务类型。数据集将原始观测与动作序列以Parquet格式存储，并辅以AV1编码的同步视频记录，确保了多维数据的对齐与高效压缩。在组织上，数据被拆分为每1000帧一个的块（chunk），并以Chunk-Index/File-Index的层级结构存放，使用统一的路径规则便于后续批量加载与分布式处理。训练集划分涵盖了全部5个回合，未单独设置验证与测试集，体现了其面向原型验证或小样本学习的轻量特性。

特点

该数据集最显著的特点在于其高密度且结构化的多模态信息融合。观测空间包含6维关节状态（肩部、肘部、腕部及夹爪位姿）与640×480分辨率的单目视觉图像，两者以30Hz频率同步采样，完整复现了机器人在连续操作中的物理状态与环境感知。动作空间与状态空间维度一致，均为6维关节控制指令，这种构型利于采用行为克隆等算法进行端到端学习。此外，数据集显式记录了时间戳、帧索引、回合索引等元信息，为时序建模与回合抽样提供了原生支持。虽然规模仅含5个回合，但其精心的数据结构设计使其成为验证机器人控制算法的理想基准。

使用方法

该数据集通过Hugging Face上的LeRobot可视化工具可直接预览，也可利用LeRobot库进行本地加载。使用时，用户通过指定数据集路径和配置名称（default），即可自动读取Parquet格式的状态-动作序列与对应的MP4视频片段。训练时，可依据episode_index和frame_index进行回合内连续轨迹的采样，或利用chunks_size参数按块分段加载以适配不同算力设备。由于数据本身已按30FPS对齐，且动作与状态具有相同的物理量纲，研究者可便捷地实现统一的归一化处理。尽管未预设标准评估分割，用户可自定义划分策略，用于训练基于行为克隆、扩散策略或时序Transformer的机器人操纵模型。

背景与挑战

背景概述

在机器人学习领域，数据集的质量与规模直接决定了模仿学习、强化学习等算法的泛化能力与操作精度。eval2_grb_b_eval1prompt数据集由robot-learning-group47团队基于LeRobot框架创建，旨在为机器人操作任务提供结构化的训练与评估数据。该数据集包含5个完整操作回合、总计3000帧的高频（30 FPS）动作与观测记录，聚焦于单一机械臂任务，动作空间涵盖6个自由度（包括肩部、肘部、腕部及夹爪控制）。其构建时间较新，顺应了近年来机器人学习领域对标准化、可复现数据集的迫切需求。通过Apache-2.0开源协议发布，该数据集降低了研究门槛，为后续算法对比与领域进步提供了重要基准资源，尤其在细粒度操作行为建模方面具有潜在影响力。

当前挑战

当前机器人学习领域面临的核心挑战之一是数据效率与泛化性间的矛盾，该数据集所解决的领域问题即在于如何通过少量高质量示范（仅5个回合）实现稳定的技能习得，这对算法从有限样本中提取通用操作模式提出了严苛要求。构建过程中，团队需应对高精度状态感知（如六维关节角度）与视觉观测（640×480像素、AV1编码的视频流）的时空对齐难题，确保动作与图像帧的毫秒级同步。此外，机械臂的物理约束（如夹爪抓取力、关节限位）和传感器噪声进一步增加了数据清洗的复杂性，而单一任务（so_follower机器人）的设计虽聚焦了研究焦点，却也限制了跨任务迁移能力的验证。数据集的规模限制（3000帧、100MB）亦对模型在真实世界中的鲁棒性构成潜在障碍。

常用场景

经典使用场景

eval2_grb_b_eval1prompt数据集专为机器人模仿学习与运动规划研究而设计，其核心用途在于为机械臂的精巧操控任务提供标准化的训练与评估基准。凭借包含5个完整回合、总计3000帧的异步采样数据，以及30帧每秒的视觉与状态同步记录，该数据集能够支撑从单一动作序列到复杂多模态感知策略的端到端模型训练。研究者在探索从示教视频中泛化抓取动作、优化关节空间轨迹，或是验证视觉-动作联合表征学习方法时，常以此数据集作为验证平台。其结构化的数据划分与清晰的行动空间定义，尤其适合基于行为的克隆学习范式与离线强化学习场景。

解决学术问题

该数据集解决了机器人学习领域中数据采集成本高昂与实验复现困难的核心痛点。通过提供统一的so_follower机械臂6维关节位姿控制数据与第一视角视觉流，它使得研究者能够聚焦于具有挑战性的细微动作泛化问题——如何让机器人在观测到相似环境变化时，自适应地调整肩部、肘部及腕部的精准角度，而非依赖预设程序。此外，数据集内动作与观测空间维度的一致性，为探索隐式状态表征与低维策略压缩理论提供了便捷的实验切口，推动了关于噪声鲁棒性、数据效率以及跨场景迁移能力的理论讨论。

衍生相关工作

围绕该数据集的开放生态，已衍生出多项标志性研究工作：LeRobot社区基于其构建了可复现的模仿学习基准，比较了行为克隆（BC）、隐式行为克隆（IBC）以及扩散策略（Diffusion Policy）在同一任务上的表现差异；部分团队利用其视频流特征，探索了视觉-语言模型驱动的可解释动作生成器，将自然语言指令映射为6自由度轨迹。此外，该数据集还催生了针对机械臂时序不匹配问题的因果关系干预方法，通过对其动作与状态之间的强耦合关系进行解耦分析，进一步推动了多任务连续学习框架在高精度操控场景中的应用创新。