eval2_rgb_r_eval1prompt

该数据集使用LeRobot框架创建，是一个用于机器人学习任务的数据集。数据集包含一个名为so_follower的机器人系统采集的交互数据，总共有5个完整episodes，共计3000帧数据。数据以parquet文件格式存储，总数据文件大小为100MB，同时包含200MB的MP4格式视频文件。数据集包含多模态观测信息：包括6维机械臂关节位置状态（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、相同维度的动作空间，以及480x640分辨率、3通道的RGB前视摄像头图像（帧率30fps）。此外，数据集还提供了时间戳、帧索引、episode索引、任务索引等元数据字段。所有数据均被划分为训练集，适用于机器人模仿学习、强化学习、行为克隆等任务的研究与开发。

This dataset is created using the LeRobot framework and is designed for robot learning tasks. It contains interaction data collected by a robot system named so_follower, with a total of 5 complete episodes comprising 3000 frames. The data is stored in parquet format with a total file size of 100MB, along with 200MB of MP4 video files. The dataset includes multimodal observations: 6-dimensional robot arm joint position states (shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper position), an action space of the same dimensions, and RGB front-view camera images with a resolution of 480x640 and 3 channels (frame rate 30fps). Additionally, the dataset provides metadata fields such as timestamps, frame indices, episode indices, and task indices. All data is divided into a training set and is suitable for research and development in robot imitation learning, reinforcement learning, behavior cloning, and related tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人模仿学习提供标准的训练与评估资源。数据采集自so_follower型机器人，共包含5个完整回合（episode），总计3000帧图像与动作序列，覆盖单一任务场景。数据以parquet格式存储结构化信息，如6维关节空间的动作指令与状态观测，同时配备640×480分辨率的前置摄像头视频流，编码采用AV1格式，帧率为30fps。数据集按照1000帧为一个分块（chunk）组织，便于高效加载与流式处理，且所有数据归入训练集，无额外划分。

特点

本数据集的核心特点在于其高度结构化的多模态信息整合。每个时间步均包含机器人6自由度关节角度（如肩部、肘部、腕部等）的准确状态与对应动作，同时提供同步的RGB视觉观测，形成完整的“感知-动作”闭环。数据以分块索引方式存储，支持随机访问与批量读取，且视频与数值数据分离管理，降低内存占用。总计100MB的数值数据与200MB的视频数据规模适中，适合快速验证算法。此外，数据集采用Apache-2.0开源许可，便于学术研究与工业应用。

使用方法

用户可通过LeRobot库中的数据集加载接口快速导入本数据。在Python环境中，使用`from lerobot import load_dataset`命令并指定数据集名称，即可自动解析meta/info.json中的元信息，返回包含动作、状态、图像及时间戳等字段的标准化数据对象。适用于行为克隆、逆强化学习等模仿学习框架的训练与评估。可视化工具通过HuggingFace Spaces提供，交互式浏览各回合的机器人操作片段，辅助理解数据分布与任务特性。

背景与挑战

背景概述

在机器人学习领域，模仿学习与行为克隆技术的进步高度依赖于高质量、结构化的演示数据集。eval2_rgb_r_eval1prompt数据集由Hugging Face LeRobot社区（可能由robot-learning-group47团队）创建，发布于2025年，旨在为机器人操控任务提供标准化训练与评估资源。该数据集聚焦于单任务（单一指令）场景，利用so_follower型机械臂采集了5个episode共3000帧的交互数据，包含6维动作空间（肩、肘、腕关节及夹爪）与第一人称RGB视觉观测（640x480分辨率，30fps）。作为LeRobot生态的一部分，该数据集推动了开源机器人数据集的民主化进程，为复现行为克隆算法、验证视觉-运动控制策略提供了可复用的基准，尤其适用于研究有限样本下的机器人技能学习。

当前挑战

该数据集主要应对的领域挑战包括：机器人操控任务中从少量示范中泛化技能的难题，即如何从仅5个演示片段中学习鲁棒的控制策略，以克服跨场景、物体位姿及光照变化的变异性。构建过程中，挑战在于通过单视角RGB视频精准恢复关节角度与末端执行器的6维动作，尤其需要解决自遮挡与深度模糊导致的观测歧义。此外，数据同步（30fps视频与1000Hz动作流对齐）、parquet存储格式下的高效数据加载（3000帧含100MB结构化数据与200MB视频）以及跨平台（LeRobot统一接口）的兼容性，均对数据集的可复现性与易用性构成了严苛要求。

常用场景

经典使用场景

在机器人学习与操控领域，eval2_rgb_r_eval1prompt数据集为模仿学习与行为克隆算法的验证提供了标准化的评测平台。该数据集采集自so_follower机械臂，包含6维关节空间的动作与状态信息，并同步记录了30帧/秒的RGB视觉观测数据，构成了一个完整的视觉-运动闭环范式。研究者可借此评估模型在给定视觉提示下，对机械臂运动策略的复现能力，尤其适用于端到端策略学习的基准测试。

衍生相关工作

围绕该数据集衍生的工作主要集中于模仿学习的算法改进与多模态融合框架构建。例如，研究者基于其视觉与关节状态对齐的特性，开发了注意力机制增强的策略网络；另一些工作则利用其视频序列进行时间对比学习，以提升姿态估计的鲁棒性。同时，该数据集也常用于验证基于扩散模型的运动生成方法，推动了机器人策略学习中生成式范式的发展。

数据集最近研究

最新研究方向

eval2_rgb_r_eval1prompt数据集聚焦于机器人模仿学习中的视觉-动作联合表征学习，特别是针对so_follower机械臂的6自由度操控任务。结合当前具身智能领域的热点，该数据集为基于视觉的机器人策略迁移提供了紧凑的示范样本——仅含5个回合但包含高清第一视角视频与精细运动轨迹。其采用LeRobot框架标准化数据格式，与HuggingFace社区近期推动的机器人数据集统一化浪潮相呼应，显著降低了从仿真到真实世界部署的复现门槛。该数据集的价值在于验证少样本条件下的动作泛化能力，对工业精细操控及家庭服务机器人的人机协同研究具有重要推动意义。