sort-lego-red-brick

该数据集使用LeRobot创建，包含10个剧集，4656个帧，1个任务和20个视频。数据集的结构详细描述了动作和观察状态的特征，以及图像数据。具体的数据集描述在README文件中未提供。

原始信息汇总

数据集概述

基本信息

• 数据集名称: sort-lego-red-brick
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总片段数: 10
• 总帧数: 4656
• 数据块大小: 1000
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据划分

• 训练集: 全部10个片段

数据结构特征

动作特征

• 数据类型: float32
• 形状: [6]
• 关节位置参数:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 FPS

观测状态特征

• 数据类型: float32
• 形状: [6]
• 关节位置参数:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 FPS

图像观测特征

前置摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 非深度图
• 无音频

上方摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 非深度图
• 无音频

索引特征

• 时间戳: float32, 形状[1], 30 FPS
• 帧索引: int64, 形状[1], 30 FPS
• 片段索引: int64, 形状[1], 30 FPS
• 数据索引: int64, 形状[1], 30 FPS
• 任务索引: int64, 形状[1], 30 FPS

文件存储格式

• 数据文件: parquet格式
• 视频文件: mp4格式
• 代码库版本: v3.0
• 机器人类型: so101_follower

引用信息

• 主页: 待补充
• 论文: 待补充
• BibTeX引用: 待补充

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，sort-lego-red-brick数据集通过LeRobot平台系统采集了10个完整操作序列，涵盖4656帧时序数据。数据以30Hz频率同步记录六自由度机械臂的关节位置与双视角视觉信息，采用分块存储技术将动作轨迹与高清视频流分别封装于Parquet格式文件与MP4编码流中，形成连续且结构化的机器人交互记录。

使用方法

研究者可通过加载标准化的Parquet数据块重构完整操作序列，利用帧索引实现动作-观测的精确对齐。训练过程中可提取关节角度作为示范轨迹，结合双路视觉输入构建端到端策略网络，其30Hz时序特性适用于动态动作建模，而分块存储机制支持大规模分布式训练场景的流畅加载。

背景与挑战

背景概述

在机器人操作任务研究领域，sort-lego-red-brick数据集作为LeRobot项目的重要组成部分，聚焦于机械臂对乐高积木的精细化分拣任务。该数据集通过集成多视角视觉感知与六自由度关节控制数据，构建了包含4656帧连续动作序列的示范数据，其核心价值在于为模仿学习与强化学习算法提供真实世界物体操作的基准测试环境。通过记录机械臂关节位置状态与双摄像头视觉流，该数据集有效填补了结构化物体操作任务中示范数据稀缺的空白，对推动机器人灵巧操作研究具有显著意义。

当前挑战

该数据集致力于解决机器人领域中对非结构化物体进行精确分拣的核心难题，其挑战体现在机械臂轨迹规划与视觉伺服控制的协同优化。构建过程中面临多模态数据同步采集的技术瓶颈，需要确保30Hz采样频率下关节编码器数据与双视角视频帧的时序一致性。此外，乐高积木的几何特征识别与抓取姿态生成要求算法具备对微小形变物体的感知鲁棒性，而示范数据的有限规模（仅10个任务序列）亦对模型泛化能力提出更高要求。

常用场景

经典使用场景

在机器人操作领域，sort-lego-red-brick数据集为机械臂控制算法的开发与验证提供了关键支持。该数据集通过记录六自由度机械臂在分拣乐高红色积木任务中的关节位置、夹爪状态及多视角视觉数据，构建了完整的动作-观测序列。研究人员可基于这些时序数据训练强化学习模型，模拟真实环境下的物体抓取与分类流程，为机器人精细操作研究奠定数据基础。

解决学术问题

该数据集有效解决了机器人模仿学习中动作轨迹生成与视觉感知融合的经典难题。通过提供同步记录的机械臂关节角度与双视角视频流，研究者能够深入分析动作策略与视觉反馈的对应关系。其标准化数据结构显著降低了多模态机器人学习算法的验证门槛，推动了基于视觉的端到端控制方法在复杂操作任务中的发展，为机器人自主决策系统提供了可复现的评估基准。

实际应用

在工业自动化场景中，该数据集可直接应用于智能分拣系统的算法优化。基于数据集中包含的抓取轨迹与视觉定位信息，工程师能够训练机器人准确识别特定颜色与形状的工件，提升装配线上的物料处理效率。其多视角视觉记录更为机器人避障路径规划提供了参考，对实现柔性制造环境中的自适应操作具有重要实践价值。

数据集最近研究

最新研究方向

在机器人操作学习领域，sort-lego-red-brick数据集凭借其多模态特征记录机制，正推动模仿学习与视觉运动控制的前沿探索。该数据集通过整合关节状态数据与双视角视觉流，为机器人精细操作任务提供了高维度时空表征基础。当前研究聚焦于跨模态表征对齐技术，旨在解决真实场景中动作预测与视觉感知的语义鸿沟问题。随着具身智能研究热潮的兴起，这类富含时空连续性的数据集已成为验证分层强化学习、元策略迁移等新型范式的重要基准，为构建通用机器人操作技能库奠定数据基石。