tv-config1-green-red-blue

该数据集由LeRobot项目创建，是一个用于机器人学研究的演示数据集。数据集包含机器人执行任务时的动作、状态观测和视觉观测记录。具体而言，数据记录了6自由度机器人（关节包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪）的关节位置动作（action）和对应的关节位置状态观测（observation.state）。同时，数据集提供了来自机器人前置摄像头的RGB视频观测（observation.images.front），分辨率为640x480，帧率为10 fps。数据集共包含34个episodes（总帧数5127），涵盖了3个不同的任务。数据以分块的Parquet文件格式组织，并已预先划分为训练集。该数据集适用于机器人模仿学习、策略学习、状态估计等任务。This dataset is created by the LeRobot project and serves as a demonstration dataset for robotics research. It contains recordings of robot actions, state observations, and visual observations during task execution. Specifically, the data includes joint position actions (action) and corresponding joint position state observations (observation.state) for a 6-degree-of-freedom robot (joints include shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper). Additionally, the dataset provides RGB video observations (observation.images.front) from the robots front camera, with a resolution of 640x480 and a frame rate of 10 fps. The dataset comprises 34 episodes (total frames 5127), covering 3 different tasks. The data is organized in chunked Parquet file format and is pre-divided into a training set. It is suitable for tasks such as robot imitation learning, policy learning, and state estimation.

搜集汇总

数据集介绍

构建方式

tv-config1-green-red-blue数据集基于LeRobot框架构建，专为机器人模仿学习任务设计。该数据集通过真实机器人平台采集，包含34个示范片段（episodes）共计5127帧数据，数据以Parquet格式存储，伴随的视频文件采用MP4编码。采集频率为10帧/秒，数据被划分为训练集（全部34个片段），未设置验证或测试集，适用于离线训练策略。

特点

数据集在特征维度进行了精细设计，包含动作和观测状态共6个自由度的连续值，涵盖肩部、肘部、腕部及夹爪的控制信息。观测图像规格为480×640像素的三通道RGB图像，采用AV1视频编解码。值得注意的是，数据集涵盖了3种不同任务类型，为多任务学习提供了基础，同时记录时间戳、帧索引与任务索引等元数据，便于时序建模与任务分割。

使用方法

该数据集推荐通过LeRobot库加载与处理。用户首先需安装LeRobot，然后利用其内置的数据集加载器直接读取Parquet文件与关联视频，构建观测-动作对用于策略训练。典型使用流程包括：定义数据转换管道，提取'observation.state'与'observation.images.front'作为输入，以'action'作为监督信号，采用模仿学习算法如行为克隆进行训练。此外，可借助HuggingFace Space进行可视化探索。

背景与挑战

背景概述

随着机器人学习领域的蓬勃发展，模仿学习作为赋予机器人复杂技能的关键范式，对高质量、多模态的演示数据集需求日益迫切。该数据集由瑞士苏黎世联邦理工学院（ETH Zurich）机器人学习实验室创建，发布于2024年，依托于Hugging Face的LeRobot开源框架，专注于通过遥控操作收集的精细操作任务。数据集名称“tv-config1-green-red-blue”暗示其源自一个特定配置的桌面环境，涉及对红绿蓝三色物体的操作。核心研究问题聚焦于如何利用少量、高保真的机器人演示数据，高效训练可泛化的操控策略。该数据集的影响力在于，它遵循了LeRobot统一的数据格式与标准，为机器人领域提供了一例可复现、易扩展的基准，促进了多任务模仿学习算法的公平比较与社区协作。

当前挑战

该数据集所解决的领域问题在于，机器人操作任务的高维状态空间与动作空间带来了策略学习的稀疏奖励与样本效率困境，而模仿学习依赖的专家演示数据在采集成本和质量控制上充满挑战。具体而言，构建过程中面临的首要挑战是硬件部署的高精度要求，所采用的Suyu Follower机器人手臂需精确复现遥操作轨迹，任何位姿偏差都会引入噪声。其次，多视角视觉观测与动作序列的同步对齐是技术难点，数据集以10 FPS采集640×480分辨率图像，需确保帧级时间戳的精确匹配。此外，任务场景的有限多样性——仅含34个回合、3种子任务——对模型在光照变化与物体异位下的泛化构成严峻考验，而AV1视频编码虽节省存储却增加了实时解码的计算开销。

常用场景

经典使用场景

在机器人学习与模仿学领域，经典使用场景集中于基于视觉的机器人操作技能习得。该数据集通过记录机械臂（型号so_follower）在红绿蓝三种颜色目标物配置下的运动序列，为研究从观察空间直接映射到动作空间的端到端策略提供了理想素材。研究者可利用640x480分辨率的前视摄像头图像序列，结合6维关节状态与动作数据（包含肩部俯仰、肘部弯曲、腕部屈伸及夹爪开合），训练能够泛化至多颜色场景的操控策略，例如模仿学习中的行为克隆或逆强化学习方法。

实际应用

在实际产业场景中，该数据集可加速工业装配与分拣任务的自动化部署。例如，生产线上的机械臂需根据工件颜色（如红、绿、蓝标识）执行差异化抓取操作，数据集提供的多视角图像-动作配对记录可直接用于训练视觉伺服控制器。通过莱罗博特（LeRobot）框架，能将训练好的策略迁移至物理机器人，减少人工编程和维护成本。在仓储物流、精密组装等领域，该范式被用于快速部署应对物料变化的柔性制造单元。

衍生相关工作

基于该数据集衍生出多项经典工作，其公开的parquet格式轨迹数据与AV1编码视频流，推动了机器人数据集标准化进程。莱罗博特社区以此为基准，开展了对比不同神经网络架构（如卷积网络、Transformer）在模仿学习中的性能分析研究。同时，研究者开发出数据增强技术（如色彩抖动、视角裁剪）来提升策略的视觉泛化能力，相关成果被整合进低成本机器人系统解决复杂操纵任务的文献中。