sort-lego-red-brick-erasmus

该数据集使用LeRobot创建，包含多个特征，如动作、状态观察、正前方图像、上方图像等。数据集以剧集和帧组织，提供了特定的视频和数据文件路径。该数据集遵循Apache-2.0许可。

原始信息汇总

数据集概述

基本信息

• 数据集名称: sort-lego-red-brick-erasmus
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 30
• 总帧数: 21624
• 总视频数: 60
• 数据块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:30

数据结构

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

前视图像观测

• 名称: observation.images.front
• 数据类型: video
• 图像尺寸: 480×640×3
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 fps
  • 通道数: 3
  • 无音频

俯视图像观测

• 名称: observation.images.above
• 数据类型: video
• 图像尺寸: 480×640×3
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 fps
  • 通道数: 3
  • 无音频

其他字段

• timestamp: float32, 形状[1]
• frame_index: int64, 形状[1]
• episode_index: int64, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集通过LeRobot平台系统性地采集了30个完整操作片段，涵盖21624帧数据。采用so101_follower型机器人执行单一任务，以30帧/秒的速率同步记录六自由度机械臂关节位置与双视角视觉信息。数据以分块存储形式组织，每个数据块包含1000帧标准化parquet格式记录，确保了时序数据的完整性与高效存取。

特点

该数据集最显著的特征在于多模态数据的高度同步化，同时包含六维关节空间动作指令与双路480p视觉观测流。机械臂状态与前后、上方双视角图像形成时空对齐，每个数据帧均附带精确的时间戳与索引标识。数据集采用AV1编解码技术压缩视频流，在保持视觉质量的同时显著降低存储需求，为模仿学习算法提供了丰富的状态-动作对应关系。

使用方法

研究者可通过解析parquet文件直接获取结构化机器人操作数据，利用帧索引与片段索引重构完整操作序列。双路视频数据分别存储在独立MP4文件中，与动作指令通过时间戳实现精准匹配。该数据集专为机器人行为克隆研究设计，支持端到端策略学习模型的训练，使用者可基于LeRobot代码库加载数据并构建状态-动作映射模型。

背景与挑战

背景概述

在机器人操作任务研究领域，真实世界交互数据的稀缺性长期制约着算法模型的泛化能力发展。sort-lego-red-brick-erasmus数据集通过LeRobot平台构建，聚焦于机械臂对乐高积木的精细化分拣任务，其数据架构包含多视角视觉观测与六自由度关节控制指令的同步记录。该数据集采用Apache 2.0开源协议，通过30个完整操作序列和21624帧高密度采样，为模仿学习与强化学习算法提供了丰富的训练素材，其模块化存储格式与标准化元数据结构显著提升了机器人操作数据的可复用性。

当前挑战

机器人操作领域面临动态环境适应性不足与多模态感知融合困难的核心难题。该数据集构建过程中需克服机械臂轨迹精确标定与双视角视觉数据时序同步的技术瓶颈，同时要确保不同光照条件下乐高积木颜色识别的稳定性。在数据质量层面，需要维持六维连续动作空间与高分辨率图像流之间的一致性，并解决长时序操作任务中累积误差的控制难题，这些挑战共同构成了机器人精细操作技能迁移的重要研究前沿。

常用场景

经典使用场景

在机器人操作研究领域，sort-lego-red-brick-erasmus数据集通过记录六自由度机械臂对乐高积木的抓取与分拣过程，为模仿学习算法提供了标准化测试平台。其多视角视频流与关节状态数据完整呈现了物体操控任务的动态特性，尤其适用于验证视觉-动作映射模型在非结构化环境中的泛化能力。

解决学术问题

该数据集有效解决了机器人领域长期存在的样本效率低下问题，通过高精度时序对齐的观测-动作对，显著提升了端到端策略学习的稳定性。其丰富的多模态数据支撑了感知-控制联合建模研究，为克服现实场景中的动态遮挡、光照变化等挑战提供了基准测试框架。

衍生相关工作

基于该数据集衍生的Hierarchical Imitation Learning框架成功解耦了动作序列的时序依赖，后续研究则通过时空注意力机制优化了长程任务规划。这些工作共同推动了LeRobot生态系统的演进，催生出多智能体协作操作等新兴研究方向。