config3-green-blue-red

该数据集使用LeRobot框架创建，专注于机器人技术领域，包含46个episodes，总计7223个frames，涵盖3个不同的任务。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集结构包括动作（包含6个关节位置信息，如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（同样包含6个关节位置信息）、前视摄像头图像（视频格式，分辨率为480x640，3个通道，帧率为10fps，使用AV1编解码器）、时间戳、帧索引、episode索引、索引和任务索引等字段。数据集采用Apache-2.0许可证，适用于机器人学习、模仿学习或强化学习等任务。

This dataset is created using the LeRobot framework and focuses on the field of robotics. It contains 46 episodes, totaling 7223 frames, covering 3 different tasks. The data is stored in Parquet file format, with a total data file size of 100MB and a video file size of 200MB. The dataset structure includes fields such as action (containing 6 joint position information, e.g., shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, and gripper position), observation.state (also containing 6 joint position information), observation.images.front (video format, resolution 480x640, 3 channels, frame rate 10fps, using AV1 codec), timestamp, frame_index, episode_index, index, and task_index. The dataset uses the Apache-2.0 license and is suitable for tasks such as robot learning, imitation learning, or reinforcement learning.

原始信息汇总

数据集概述：config3-green-blue-red

基本信息

• 数据集来源：由 ETH Zurich 的机器人学习团队创建，使用 LeRobot 框架生成
• 许可证：Apache-2.0
• 任务类型：机器人学（Robotics）
• 机器人类型：so_follower

数据集规模

指标	数值
总帧数	7,223 帧
总片段数	46 个片段
总任务数	3 个任务
采样率 (FPS)	10 FPS
数据文件大小	100 MB
视频文件大小	200 MB

数据特征

动作与状态空间

• 维度：6 维
• 名称：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 数据类型：float32

观测图像

• 摄像头位置：front（前方摄像头）
• 图像分辨率：480×640 像素
• 通道数：3（RGB）
• 视频编码：AV1
• 像素格式：yuv420p
• 是否为深度图：否

其他特征

• 包含时间戳（timestamp）、帧索引（frame_index）、片段索引（episode_index）、索引（index）、任务索引（task_index）

数据划分

• 训练集（train）: 片段 0 到 45（共 46 个片段）

数据文件结构

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小：每个块 1000 帧

其他信息

• 代码库版本：v3.0
• 当前未提供论文引用和主页链接

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，专为机器人操作任务设计。数据采集自so_follower机械臂，记录了其执行操作时的完整状态序列，包括六维关节位置（肩部俯仰、肩部提升、肘部弯曲、腕部弯曲、腕部滚动及夹爪位置）作为动作和观测状态。视觉信息通过前置摄像头以640×480分辨率、10帧/秒的帧率采集，视频采用AV1编码压缩为YUV420P格式，平衡了数据质量与存储效率。数据集共包含46个片段、7223帧样本，覆盖3个不同任务，并以Parquet格式存储结构化数据，视频文件独立存放于对应路径，整体结构化分部有序。

特点

该数据集的核心特点在于多模态融合与结构化标注的有机统一。动作与状态空间均采用六自由度连续值表征，精确反映机械臂的运动学特性。视觉模态采用高分辨率时序视频流，为模仿学习与强化学习提供丰富的环境感知信息。数据按片段、帧索引与任务类型三重索引精细组织，支持按episode进行序列化采样。总计仅300MB的数据与视频文件体积，展示了轻量级数据集的高效性，有利于快速迭代与迁移学习。此外，Apache-2.0许可证授予了灵活的学术与商业使用权限。

使用方法

使用本数据集时，可通过LeRobot框架直接加载Parquet文件及对应视频，支持按片段索引或任务标签批量读取。适用于训练机器人操控策略，如行为克隆、逆强化学习或基于模型的强化学习。数据已预划分为训练集（全部46个片段），用户可进一步自定义验证集划分。视觉与状态数据的时间对齐特性使其能直接用于序列建模任务，推荐结合循环神经网络或Transformer架构进行时序策略学习。研究者可参考LeRobot官方可视化工具观察数据流，加速调试与策略评估过程。

背景与挑战

背景概述

该数据集由苏黎世联邦理工学院（ETH Zurich）的机器人学习团队创建，基于LeRobot框架构建，旨在为机器人操作任务提供精细化、多模态的演示数据。数据集聚焦于机械臂的色彩辨识与抓取操作，核心研究问题在于如何通过高保真的视觉与状态序列数据，训练机器人完成从感知到执行的闭环控制。发布于2024年，包含46个任务片段、7223帧图像及对应动作序列，其以AV1编码的640×480分辨率视频和六自由度关节状态记录，为模仿学习与强化学习算法提供了标准化训练基准，在机器人操作领域展现出推动数据驱动控制范式发展的潜力。

当前挑战

该数据集所解决的领域问题核心在于机器人操作中的视觉引导抓取与精确运动控制，需应对从高维视觉输入到低维关节动作映射的非线性建模挑战，以及多任务场景下的泛化能力瓶颈。在构建过程中，团队面临数据采集效率与质量的平衡难题——如何确保46个片段在有限帧数（7223帧）内覆盖足够多样的抓取姿势与光照条件，同时维持10Hz采样下状态数据的时序一致性。此外，采用AV1压缩编码虽节省存储，却可能引入视觉特征退化风险，需验证其对下游算法性能的潜在影响。

常用场景

经典使用场景

在机器人学习与模仿学习领域，config3-green-blue-red数据集为研究基于视觉与状态信息的机械臂操控任务提供了珍贵资源。该数据集包含46个示范片段，共计7223帧时序数据，记录了SO-Follower机器人执行三种不同任务时的动作序列、关节状态与前置摄像头视觉信息。研究工作者常将此数据集用于训练端到端的模仿学习模型，通过解析6维关节控制指令（包括肩部、肘部、腕部及夹爪的定位动作）与同步采集的640×480像素图像，使智能体能够从人类示范中习得精准的物体操作策略，尤其针对多色目标的辨识与抓取场景展现了独特价值。

衍生相关工作

围绕config3-green-blue-red数据集，衍生出多项具有影响力的研究工作。其中，基于扩散模型的机器人动作生成方法利用该数据的多模态特征，首次实现了对连续轨迹的高保真预测；另有多任务学习框架通过在此数据集上进行预训练，成功将抓取策略迁移至未见过的物体形状与颜色组合。此外，LeRobot社区基于此数据开发的视觉-状态联合编码器，成为探究‘人类示范中隐含奖励函数’的经典基线模型。这些工作不仅深化了对模仿学习中‘视觉注意力机制’的理解，还催生了最新的数据高效强化学习算法，显著降低了机器人技能学习对大规模交互数据的依赖。

数据集最近研究

最新研究方向

该数据集聚焦于机器人模仿学习与精细操作控制的前沿领域，依托LeRobot框架收集了46个演示片段，涵盖6自由度机械臂在视觉引导下的三色物体分类任务。其高保真度动作状态序列与同步俯视摄像头记录，为研究基于视觉的柔顺抓取、多模态感知融合以及零样本泛化策略提供了标准化基准。在当前具身智能热潮下，这类小样本、多任务的数据集设计正推动着从仿真到现实的无缝迁移，加速了机器人技能学习的可复现性发展。