config4-red-green-blue

该数据集是一个机器人学领域的数据集，使用LeRobot工具创建。它包含机器人操作任务的数据，适用于机器人控制、强化学习或模仿学习等任务。数据规模包括45个总episodes、7411个总frames和3个总任务。数据集以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据结构包括多个特征字段：动作（action）和观测状态（observation.state）均为6维浮点数组，对应机器人关节位置（如肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）；观测图像（observation.images.front）为视频数据，分辨率为480x640，3通道，帧率为10fps，使用av1编码。此外，还包括时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、索引（index）和任务索引（task_index）等元数据。数据集仅包含训练集（train），覆盖所有episodes，机器人类型为“so_follower”。

原始信息汇总

数据集概述

该数据集是一个机器人领域的数据集，由 LeRobot 框架创建，并采用 Apache-2.0 许可证。

• 数据集名称：config4-red-green-blue
• 数据集主页：[More Information Needed]
• 相关论文：[More Information Needed]
• 许可证：Apache-2.0
• 机器人类型：so_follower
• 帧率 (FPS)：10
• 总任务数：3
• 总集数：45
• 总帧数：7,411
• 数据文件大小：100 MB
• 视频文件大小：200 MB

数据集结构

数据集包含以下特征：

• action：机器人动作指令，包含 6 维浮点数值，对应肩关节、肘关节、腕关节及夹爪的位置。
  • 名称：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.state：机器人观测状态，包含与 action 相同的 6 维关节位置信息。
• observation.images.front：前置摄像头观测图像，为视频数据，分辨率 480x640，3 通道，使用 AV1 编码。
• timestamp：时间戳。
• frame_index：帧索引。
• episode_index：集数索引。
• index：全局索引。
• task_index：任务索引。

数据划分

• 训练集 (train)：包含第 0 至第 44 集，共计 45 集。

可视化

您可以通过可视化工具直接浏览该数据集：https://huggingface.co/spaces/lerobot/visualize_dataset?path=ETHrobotlearning/config4-red-green-blue

搜集汇总

数据集介绍

构建方式

config4-red-green-blue数据集由ETH机器人学习团队基于LeRobot框架构建，专为机器人模仿学习研究设计。该数据集通过实际机器人操作采集，包含45个完整演示片段，总计7411帧数据，采样频率为10帧/秒。数据以Parquet格式存储结构化信息，并配备独立的AV1编码视频文件，每个样本均包含6维动作指令和对应的6维机器人状态观测值。

特点

该数据集的一个显著特色在于其多模态观测设计，集成了640×480像素的RGB视觉输入与精确的状态向量，其中状态向量涵盖肩部旋转、肘部屈伸、腕部弯曲与旋转以及夹爪位置。数据集包含3种不同任务类型，每个任务都通过多轮演示生成，保证了数据的多样性与泛化能力。

使用方法

使用者可直接通过HuggingFace的LeRobot可视化工具预览数据，或利用Python加载Parquet文件进行模型训练。数据被划分为训练集（全部45个片段），并附带chunks_size为1000的块处理机制，便于高效读取。借助LeRobot库，研究人员能够快速提取动作序列与观测图像，用于行为克隆或强化学习算法的开发与评估。

背景与挑战

背景概述

该数据集由苏黎世联邦理工学院机器人学习实验室（ETH robotic learning lab）于2024年构建，依托LeRobot框架开发，专注于机器人操作技能学习。数据集以红、绿、蓝三色物体为操作对象，通过So_Follower机械臂采集了45个演示回合，总计7411帧时序数据，涵盖6维关节动作及480×640分辨率的前视相机图像。其核心研究问题在于探索机器人如何从多模态示范中学习精细操作任务，为模仿学习与行为克隆算法提供标准化训练基准。作为开源机器人数据集生态的重要补充，该资源填补了面向色彩区分型操作的专用数据集空白，推动了机器人学习领域从仿真环境向真实物理交互的迁移研究。

当前挑战

领域层面，机器人操作学习面临高维连续动作空间与复杂物理交互的双重挑战——传统图像分类任务难以直接迁移至具身智能场景，数据集需同时编码视觉感知、运动规划与末端执行器控制的多模态耦合关系。构建过程中，该数据集攻克了精确时序同步难题：通过10Hz采样率对齐6轴关节状态与视频流，确保动作序列与视觉观察的严格时空配准；同时应对了数据效率瓶颈——45个演示回合仅产生7411有效帧，有限样本量对深度模型的泛化能力形成严苛考验，需配合数据增强与先验知识注入策略才能避免过拟合。

常用场景

经典使用场景

在机器人学习与操控领域，config4-red-green-blue 数据集专为基于视觉的机械臂精细操控任务设计，尤其适用于色彩区分与抓取场景。该数据集记录了苏黎世联邦理工学院机器人系统实验室的 SO-Follower 机械臂在执行红、绿、蓝三色物体分类与抓取任务时的完整状态与动作序列，包含 45 个 episode、7400 余帧数据，以 10 FPS 的采样频率同步存储六维关节空间状态、动作指令以及前视摄像头采集的 480×640 像素 RGB 图像。研究人员可直接利用该数据集的 parquet 格式轨迹数据与 AV1 编码视频，通过 LeRobot 框架进行行为克隆、隐式策略或扩散策略等模仿学习方法的训练与评估，探索视觉—运动映射在细粒度操控中的泛化能力。

实际应用

在实际应用层面，该数据集所蕴含的视觉引导操控能力可直接迁移至工业柔性生产线中的分拣与装配环节，例如电子元件按颜色分类、药瓶按标签色码抓取等场景。借助基于该数据集训练的模仿学习模型，机器人系统能够无需人工编程即可适应工件颜色、姿态的微小变化，显著降低部署成本与调试时间。此外，该数据集的结构化存储方式（包含时间戳、帧索引、episode 分割等元信息）使其能够便捷地集成至现代机器人数据流水线，为仓储自动化、家庭服务机器人等场景下的视觉—动作闭环控制提供可复现的训练基准与验证素材。

衍生相关工作

config4-red-green-blue 数据集作为 LeRobot 生态中的典型范例，其设计与格式规范直接催生了一系列高质量的衍生研究工作。在算法层面，研究者基于该数据集开发了适用于多任务视觉操控的扩散策略变体、隐式行为克隆的改进版本，以及融合目标检测与轨迹规划的混合方法。在系统层面，该数据集的公开促进了机器人示教数据标准化格式（如统一使用 parquet 存储状态、AV1 存储视频）在学术圈内的推广，后续涌现出如 DROID、Bridge Data v2 等大规模数据集均沿用了其元数据结构。同时，围绕该数据集的“红—绿—蓝”三色任务范式，催生了关于色彩不变性表征学习、域随机化训练策略等课题的探索性研究，进一步拓展了视觉—运动数据集构建的理论边界。