lerobot-simulation-to-the-shelf-02

该数据集是一个机器人学领域的应用数据集，包含机器人手臂的运动数据。数据集由多个剧集组成，每个剧集包含多个帧，总共包含11687个帧。数据集以Parquet文件格式存储，并包含视频文件。数据集的结构包括机器人的关节状态、手腕和顶部的图像、动作、时间戳、帧索引、剧集索引等特征。数据集的许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 名称: opengraph-labs/lerobot-simulation-to-the-shelf-02
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 21
• 总帧数: 11687
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

数据特征

• observation.state:

  • 数据类型: float32
  • 形状: [5]
  • 关节名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll

• observation.images.wrist:

  • 数据类型: 视频
  • 分辨率: 240×320×3
  • 视频编码: AV1
  • 像素格式: yuv420p

• observation.images.top:

  • 数据类型: 视频
  • 分辨率: 480×640×3
  • 视频编码: AV1
  • 像素格式: yuv420p

• action:

  • 数据类型: float32
  • 形状: [5]
  • 关节名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll

元数据

• timestamp: 时间戳 (float32)
• frame_index: 帧索引 (int64)
• episode_index: 情节索引 (int64)
• index: 索引 (int64)
• task_index: 任务索引 (int64)

技术信息

• 代码库版本: v3.0
• 机器人类型: so_arm_101
• 分块大小: 1000
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据划分

• 训练集: 全部21个情节

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集通过LeRobot仿真平台系统构建，采用so_arm_101型机器人执行单一任务，共采集21个完整交互序列。数据以分块存储机制组织，每1000帧为一个数据单元，原始观测信息与动作指令均以规范化浮点数组形式保存于Parquet格式文件中，同时配备多视角视频流记录，确保时序数据与视觉信息的完整对齐。

使用方法

研究者可通过解析Parquet数据文件获取机器人状态轨迹与动作序列，结合附带的MP4视频文件进行行为可视化分析。数据加载时需依据meta/info.json中的路径模板定位分块文件，利用特征字典中定义的张量结构与数据类型重构观测空间，适用于端到端策略训练、动作预测模型验证等机器人学习任务。

背景与挑战

背景概述

在机器人操作学习领域，模拟环境与实体系统间的数据迁移一直是关键研究课题。该数据集通过LeRobot平台构建，采用SO-Arm-101型机械臂模拟器，聚焦于货架操作任务的动态建模。其数据架构融合了多视角视觉感知与关节状态反馈，包含21个完整操作序列和11687帧时序数据，为模仿学习与强化学习算法提供了标准化训练资源。数据集采用Apache 2.0开源协议，通过规范化存储格式促进机器人学习研究的可复现性。

当前挑战

该数据集致力于解决机器人操作任务中的动作序列生成难题，需在复杂环境中实现精准的抓取与放置操作。构建过程中面临多模态数据同步的技术障碍，包括机械臂关节轨迹与双视角视频流的时间对齐。数据采集环节需克服模拟环境与真实场景的域适应差异，同时确保五自由度机械臂动作空间的连续性与稳定性。存储架构设计需平衡大规模视频数据与状态参数的存储效率，采用分块压缩技术应对数据体量膨胀。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过模拟机械臂执行货架放置任务，为强化学习算法提供了丰富的训练环境。其多视角视觉数据与关节状态信息相结合，能够有效支持端到端策略学习，尤其在复杂环境下的物体操控任务中展现出显著价值。

解决学术问题

该数据集主要解决了机器人模仿学习中的样本效率问题，通过结构化存储的示教数据降低了真实世界数据采集成本。其精确的时间戳对齐与多模态观测特征，为研究跨模态表示学习提供了基准，推动了机器人感知-动作闭环控制的理论发展。

实际应用

在工业自动化场景中，该数据集可直接应用于仓储物流系统的智能分拣机器人开发。通过迁移学习将仿真策略部署到实体机械臂，能够显著提升货品上架任务的准确性与适应性，为智慧物流系统提供关键技术支撑。

数据集最近研究

最新研究方向

在机器人操作学习领域，仿真到实体的迁移已成为关键研究热点。该数据集通过多视角视觉观测与关节状态数据，为强化学习算法提供了丰富的训练环境。当前研究聚焦于跨模态表征学习，将腕部与顶部摄像头信息融合，以提升机械臂在复杂场景下的抓取精度。随着具身智能的发展，此类仿真数据正推动零样本策略迁移技术的突破，为工业自动化中的货架操作任务奠定算法基础。