sort_lego_yellow_green_black_red_150Demos

该数据集是为机器人学任务设计的，使用LeRobot工具创建。数据集包含50个episodes，总计30687帧数据，存储为parquet格式文件，总数据量为100MB，视频文件大小为200MB。数据采集自'so_follower'型机器人，帧率为30fps。数据集包含多个特征字段，包括动作（6个关节位置）、观察状态（6个关节位置）、来自顶部、侧面和正面三个视角的图像（分别具有不同的分辨率）、时间戳、帧索引、episode索引等。视频数据采用av1编码，yuv420p像素格式，无音频。数据集适用于机器人控制、行为学习等研究任务，采用Apache-2.0许可协议。

原始信息汇总

数据集概述

基本信息

• 数据集名称: sort_lego_yellow_green_black_red_150Demos
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总演示集数: 50
• 总帧数: 30687
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据块大小: 1000
• 数据分割: 训练集 (0:50)
• 代码库版本: v3.0
• 机器人类型: so_follower

数据文件路径

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测图像（顶部摄像头）

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

观测图像（侧面摄像头）

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

观测图像（正面摄像头）

• 数据类型: 视频
• 形状: [720, 1280, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 720
  • 宽度: 1280
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

元数据

• 时间戳: 数据类型 float32，形状 [1]
• 帧索引: 数据类型 int64，形状 [1]
• 演示集索引: 数据类型 int64，形状 [1]
• 索引: 数据类型 int64，形状 [1]
• 任务索引: 数据类型 int64，形状 [1]

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量演示数据的采集对于模型训练至关重要。该数据集依托LeRobot平台构建，专门记录了机器人执行乐高积木颜色分类任务的演示过程。数据采集涉及50个完整任务片段，总计30687帧，以30帧每秒的速率同步记录机器人关节状态与多视角视觉信息。原始数据经过结构化处理，存储为Parquet格式文件，并辅以MP4格式的视频流，确保了动作序列与观测数据的高效对齐与可追溯性。

使用方法

为便于研究使用，数据集已预先划分为训练集。使用者可通过LeRobot库或直接读取Parquet文件来访问结构化的状态与动作数据。视频文件则独立存储，通过元数据中提供的路径模板可与帧数据关联。该数据集适用于训练端到端的机器人操作策略模型、进行行为克隆或强化学习研究。在具体应用中，研究者可依据`episode_index`与`frame_index`提取连续的任务轨迹，并利用多视角图像数据增强模型的场景理解与泛化能力。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需高质量、多模态的真实世界交互数据集。sort_lego_yellow_green_black_red_150Demos数据集应运而生，由HuggingFace的LeRobot项目团队构建，专注于机器人操作任务。该数据集采集了六自由度机械臂在特定环境下对黄、绿、黑、红四色乐高积木进行分拣的150次演示数据，包含关节状态、多视角视频流及时间戳等丰富信息。其核心研究问题在于如何通过大规模真实演示数据，提升机器人对复杂物体操作任务的泛化能力与鲁棒性，为机器人视觉-动作映射模型的训练与评估提供了关键资源，推动了具身智能在实际场景中的应用探索。

当前挑战

该数据集旨在解决机器人操作中基于视觉的分拣与排序任务，其领域挑战在于如何从高维视觉观察中精确推断出有效的连续控制动作，并适应物体颜色、形状及摆放位置的细微变化。构建过程中的挑战则体现在多传感器数据的同步与对齐，需确保关节编码器读数与多摄像头视频流在时序上严格一致；同时，数据采集需在真实物理环境中进行，面临光照波动、机械误差及操作重复性保持等实际问题，增加了数据清洗与标注的复杂度。此外，大规模视频数据的存储与高效检索也对数据集的基础设施提出了较高要求。

常用场景

经典使用场景

在机器人学习领域，sort_lego_yellow_green_black_red_150Demos数据集为视觉-动作模仿学习提供了经典范例。该数据集通过多视角视频流与机器人关节状态数据，记录了50次完整的乐高积木分拣演示，涵盖黄、绿、黑、红四种颜色。研究者可基于此数据集训练端到端的策略模型，使机器人能够从视觉观察中直接推断出精确的抓取与放置动作，实现自动化物体分类与整理任务。

解决学术问题

该数据集有效应对了机器人模仿学习中样本效率低下与泛化能力不足的学术挑战。通过提供大规模、多模态的演示数据，它支持从高维视觉输入到低维动作空间的映射研究，促进了基于深度学习的机器人控制算法发展。其结构化标注解决了真实世界机器人任务中状态-动作对应关系难以获取的问题，为行为克隆、逆强化学习等方向提供了可靠基准。

实际应用

在工业自动化与物流分拣场景中，该数据集具有直接的应用价值。基于其训练的模型可部署于装配线或仓库机器人，实现基于视觉的物体识别与抓取，提升分拣效率与准确性。数据集模拟的真实环境与多视角设置，有助于算法在光照变化、物体遮挡等复杂条件下的鲁棒性验证，推动服务机器人、智能仓储等领域的实际落地。

数据集最近研究

最新研究方向

在机器人操作学习领域，sort_lego_yellow_green_black_red_150Demos数据集凭借其多视角视觉与关节状态数据，正成为模仿学习与强化学习算法验证的重要资源。该数据集通过LeRobot平台构建，聚焦于乐高积木分拣任务，其包含的50个演示片段与多路高清视频流，为研究视觉-动作映射、跨模态表示学习提供了丰富素材。当前前沿探索集中于利用此类真实世界交互数据，训练端到端的策略网络，以提升机器人在非结构化环境中的泛化能力与操作精度，同时推动开源机器人社区在数据驱动范式下的协同创新。