eval2_bgr_g_eval1prompt

该数据集是一个机器人学习数据集，使用LeRobot工具创建。数据集包含4个完整的情节（episodes），总计2400帧数据，对应1个任务。数据以30fps的帧率采集，总数据文件大小约为100MB，视频文件大小约为200MB。数据集结构包含多个特征字段：动作（action）和状态观测（observation.state）均为6维浮点向量，分别对应机械臂的肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置；观测图像（observation.images.front）为来自前置摄像头的视频数据，分辨率480x640，3通道彩色，采用AV1编解码器；此外还包括时间戳、帧索引、情节索引、全局索引和任务索引等元数据字段。所有数据均存储在Parquet文件格式中，视频数据存储在MP4文件中。数据集适用于机器人模仿学习、强化学习或行为克隆等任务。This dataset is a robot learning dataset created using the LeRobot tool. It contains 4 complete episodes, totaling 2400 frames of data, corresponding to 1 task. The data is collected at a frame rate of 30fps, with a total data file size of approximately 100MB and a video file size of about 200MB. The dataset structure includes multiple feature fields: action and observation.state are both 6-dimensional floating-point vectors, corresponding to the robot arms shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position, respectively; observation.images.front is video data from a front-facing camera, with a resolution of 480x640, 3-channel color, using the AV1 codec; additionally, it includes metadata fields such as timestamp, frame index, episode index, global index, and task index. All data is stored in Parquet file format, with video data stored in MP4 files. The dataset is suitable for tasks such as robot imitation learning, reinforcement learning, or behavior cloning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人领域的数据采集与处理。数据来源于SO-Follower机器人的实际操控过程，通过记录机器人各关节的实时状态与对应的动作指令，生成了包含视觉与运动信息的多模态数据。数据集包含4个完整episode，共计2400帧，以30帧每秒的采样频率采集，并将数据按1000帧为一个chunk进行分块存储，采用Parquet格式保存结构化数据，同时将前端摄像头采集的640×480分辨率视频以AV1编码压缩为MP4格式，实现了高效的数据组织与存储。

使用方法

该数据集主要应用于机器人模仿学习与行为克隆任务的模型训练与评估。推荐使用LeRobot框架进行数据加载，通过其API可直接读取Parquet文件中的动作序列与状态轨迹，并同步加载对应时段的视频帧。用户可按需将数据划分为训练集与验证集，利用标准的深度学习数据管道（如PyTorch DataLoader）进行批量化处理。此外，数据集提供了可视化工具入口，便于研究者快速预览数据样本，验证数据采集质量与动作一致性。

背景与挑战

背景概述

该数据集由机器人学习领域的研究团队利用LeRobot框架创建，旨在推动机器人操作技能的模仿学习研究。数据集聚焦于单任务场景下的机械臂控制，记录了“so_follower”型机器人执行特定操作的2400帧时序数据，包含6维关节空间的动作与状态信息（如肩部、肘部、腕部及夹爪），并辅以前置摄像头采集的640x480分辨率视频流。其核心研究问题在于探索如何通过少量演示（仅4个片段）高效泛化机器人操作策略，同时验证LeRobot工具链在数据收集、标准化与复现中的可行性。作为开源资源（Apache-2.0协议），它为机器人领域提供了高保真的基准数据，促进了模仿学习算法在多模态融合与低样本场景下的性能评估。

当前挑战

领域层面，该数据集直面机器人模仿学习中的核心难题：如何在少量演示（仅4个片段，2400帧）中提取泛化能力，避免过拟合至特定轨迹，同时应对环境扰动与操作初始条件的细微变化。构建过程中，挑战在于确保多源数据（6维关节序列与视频流）的时空同步精度（30 FPS），并解决高分辨率视频（640x480）与机器人低延迟控制信号（1000 chunks）间的存储与传输效率矛盾。此外，数据标注的完整性与元信息（如任务索引、时间戳）的准确性对模型训练至关重要，而机械臂动态响应与传感器噪声的抑制进一步增加了数据清洗的复杂度。

常用场景

经典使用场景

eval2_bgr_g_eval1prompt数据集在机器人学习与操控任务中扮演着至关重要的角色，尤其适用于基于视觉的模仿学习与行为克隆研究。该数据集由LeRobot框架构建，记录了SO Follower型机械臂在单一任务场景下的精细操作轨迹，包含6维动作空间（肩部、肘部、腕部及夹爪位姿）与前视摄像头采集的640×480 RGB图像序列，以30帧/秒的采样率覆盖2400帧连续运动数据。研究者可借此训练端到端神经网络模型，让机器人通过观察专家演示中的视觉状态与动作对应关系，自主习得诸如抓取、放置等精细操控策略，从而摆脱传统机器人编程中依赖手工规则与运动学模型的局限。

解决学术问题

该数据集精准回应了机器人领域中长期存在的两大学术挑战：高维连续动作空间中的策略泛化难题与视觉-运动交叉模态的联合表征学习。通过提供结构化的专家演示数据，它支持研究者验证行为克隆算法在低样本场景下的收敛效率，以及评估不同网络架构（如扩散策略、Transformer决策模型）对操作精度的提升效果。其标准化的6维关节角动作格式与前视图像数据，为对比不同模仿学习方法在相同硬件基准（SO Follower型机器人）上的性能提供了可复现的实验基础，显著推进了从示教到自主学习范式在物理世界中的落地进程。

实际应用

在实际工业与生活场景中，该数据集可赋能柔性制造与家庭服务机器人的技能迁移系统。例如，基于该数据训练的模型可使机械臂在装配线上通过学习单次示教完成零件的精准插接，或在厨房环境中模仿人类完成倒水、开瓶等复杂操作。其预定义的LeRobot数据格式兼容主流机器人框架，便于直接集成至ROS 2生态中的技能部署管道，且Apache-2.0许可协议扫除了商业应用的版权障碍。此外，数据集中包含的视觉深度图虽未开启、但保留了字段扩展能力，为未来结合深度感知的实际场景适配预留了接口。

数据集最近研究

最新研究方向

该数据集聚焦于机器人领域中的模仿学习与远程操控任务，依托LeRobot框架构建，包含由so_follower机器人采集的4个完整episode、共计2400帧的高频（30 FPS）动作与视觉观测数据。当前前沿研究正利用此类高保真、多模态数据集推动基于视觉的机器人操控技能迁移，特别是在零样本泛化与跨任务学习方面。与全球具身智能热潮相呼应，该数据集通过标准化parquet视频存储结构，为训练端到端神经策略提供了可靠的基准资源，其开源Apache-2.0许可亦助力学术界与工业界协同攻克复杂环境下的精细操作难题。