eval2_brg_g_eval1prompt

本数据集是使用LeRobot平台创建的机器人学习数据集，专为机器人学任务设计，包含机器人操作的多模态交互数据。数据规模包括5个完整的情节（episodes），总计3000个数据帧，涵盖1个具体任务。数据以30帧每秒的速率采集，并组织为训练集。数据集的核心内容包含以下特征字段：1) `action`：一个6维浮点向量，表示机器人末端执行器的关节位置指令，具体控制肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪开合。2) `observation.state`：一个6维浮点向量，表示机器人本体的关节位置状态，其维度与`action`字段一一对应。3) `observation.images.front`：来自机器人前置摄像头的视觉观测，以视频形式存储，分辨率为640x480，包含RGB三个颜色通道，视频编码为AV1格式。4) 索引与计时字段：包括`timestamp`（时间戳）、`frame_index`（帧索引）、`episode_index`（情节索引）、`index`（全局索引）和`task_index`（任务索引），用于标识和定位数据。数据文件以Parquet格式存储，视频文件以MP4格式独立存储。该数据集适用于机器人模仿学习、强化学习、视觉伺服控制等任务的研究与模型训练。

This dataset is a robotic learning dataset created using the LeRobot platform, specifically designed for robotics research tasks, and contains multimodal interaction data for robot manipulation. The dataset includes 5 complete episodes, totaling 3000 data frames, covering 1 specific task. All data is collected at a rate of 30 frames per second (FPS) and organized as a training set.

The core feature fields of the dataset are as follows:
1. `action`: A 6-dimensional floating-point vector representing joint position commands for the robot's end-effector, specifically controlling shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper opening and closing.
2. `observation.state`: A 6-dimensional floating-point vector representing the joint position states of the robotic manipulator, with dimensions in one-to-one correspondence with the `action` field.
3. `observation.images.front`: Visual observations captured by the robot's front-facing camera, stored as video files with a resolution of 640×480, including three RGB color channels, and encoded in the AV1 format.

Indexing and timing fields include `timestamp`, `frame_index`, `episode_index`, `index` (global index), and `task_index`, which are used to identify and locate data entries. Data files are stored in Parquet format, while video files are stored separately in MP4 format.

This dataset is suitable for research and model training for tasks such as robot imitation learning, reinforcement learning, and visual servo control.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专注于机器人操作任务的记录与模拟。数据集通过采集so_follower型机器人在执行单一任务过程中的多模态数据而生成，共计包含5个完整操作回合、3000帧时序信息，并以30帧每秒的采样频率进行记录。数据以分块式parquet文件格式存储于data目录下，视频流则存放于videos文件夹，采用AV1编码的MP4格式，分辨率达640×480，三通道彩色图像清晰捕捉机械臂的实时动作轨迹。数据构建时充分考虑了动作与观测状态的同步性，将6维关节空间指令（包含肩部、肘部、腕部及夹爪位置）与对应的观测状态和前端视觉图像严格对齐，确保了数据集在模仿学习任务中的实用价值。

使用方法

数据集可通过LeRobot库便捷加载与可视化。用户首先安装LeRobot框架，随后利用其数据集接口直接读取本地或远程存储的parquet文件与视频数据。默认配置下，数据集将5个回合（编号0至4）全部划归训练集，适用于监督学习的训练流程。在模型训练时，可提取'observation.state'与'observation.images.front'作为输入特征，以'action'序列为预测目标，构建逆动力学或行为克隆模型。通过调用LeRobot内置的可视化工具（如HuggingFace Spaces上的演示界面），研究者能够直观浏览各回合的机器人运动轨迹与对应视频，快速验证数据质量与任务特性。

背景与挑战

背景概述

eval2_brg_g_eval1prompt数据集由机器人学习社区robot-learning-group47基于LeRobot框架创建，采用Apache-2.0许可协议，专为机器人操作学习任务设计。该数据集于2024年通过HuggingFace平台发布，聚焦于“so_follower”机器人类型，采集了5个操作片段的3000帧数据，涵盖6维动作空间（肩部、肘部、腕部及夹爪位置）与640×480的前视视觉图像。其核心研究问题在于探索基于模仿学习的机器人精细操作策略，通过提供高帧率（30 FPS）的多模态观测数据，为机器人从示教中习得复杂动作序列提供基准资源，对低样本机器人学习领域具有重要的推动作用。

当前挑战

该数据集所解决的领域挑战在于机器人操作任务的样本效率问题：传统方法需要海量演示数据才能泛化至新场景，而eval2_brg_g_eval1prompt仅通过5个片段（3000帧）的稀疏数据，验证了从简谐运动中提取关键运动模式的可能性。在构建过程中，主要挑战包括：首先，高频视觉数据（AV1编码）与运动状态（6维关节位置）的精确同步，需确保时间戳的对齐误差控制在1帧以内；其次，仅包含单任务（夹爪操作）的有限多样性，可能导致模型过拟合于特定初始姿态；最后，数据采集依赖人工示教，重复性与噪声控制不足，需通过数据增强与域随机化技术缓解。

常用场景

经典使用场景

在机器人学习领域，eval2_brg_g_eval1prompt数据集以其精细的多模态运动数据著称，包含来自“so_follower”型机器人的6维关节角度动作序列、状态观测以及前置摄像头视频记录。其经典使用场景在于训练模仿学习与行为克隆模型，研究人员通过将机器人执行任务时的视觉图像与对应的关节指令对齐，使模型能够从人类的演示中学会复现特定操作，例如抓取与放置等灵巧操作任务。

解决学术问题

该数据集有效解决了机器人领域数据稀缺与泛化困难的学术瓶颈。通过提供标准化、高帧率的运动轨迹和同步视觉反馈，它帮助研究者探索如何将示教数据转化为可迁移的通用策略，显著推动了端到端学习在机器人操控中的应用。其结构化设计还降低了对大规模仿真环境的依赖，为因果推理、多任务学习等前沿课题提供了高质量的实验基准。

实际应用

在实际应用中，这一数据集赋能了柔性制造与家庭服务机器人的自主作业能力。例如，借助该数据集训练的模型能够将演示的动作模式适应于新物体的摆放位置，实现自动装配线上的精准抓取。同时，其视频与状态数据的结合为远程操作系统的自动纠错提供了训练基础，助力机器人在医疗辅助和危险环境探测等场景下完成可靠的运动规划。

数据集最近研究

最新研究方向

该数据集聚焦于机器人学习领域的模仿学习前沿方向，特别是针对机械臂（SO-5Follower型）的精细操作技能迁移。通过记录六自由度关节动作与高清视觉观测信号（480×640@30fps），构建了覆盖单任务5个示范回合、总帧数达3000的紧凑训练集。当前研究热点在于利用此类高质量小样本数据集探索基于视觉与运动联合表征的零样本策略泛化能力，结合LeRobot框架推动开源机器人操作基准的标准化建设，为具身智能体在真实物理环境中的操作行为学习提供了关键的验证性数据基础设施。