lerobot-simulation-to-the-shelf-01

这是一个关于机器人学的数据集，使用LeRobot创建。数据集包含31个集，共有30412帧，1个任务。数据以Parquet文件格式存储，并包含视频文件。数据集的结构包括多种特征，如机械臂的状态、手腕和顶部的图像、动作、时间戳、帧索引、集索引、索引和任务索引。该数据集在Apache-2.0许可下发布。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v3.0
• 机器人类型: so_arm_101
• 总回合数: 31
• 总帧数: 30412
• 总任务数: 1
• 块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据划分

• 训练集: 0:31

数据特征

观测数据

• observation.state

  • 数据类型: float32
  • 形状: [5]
  • 关节名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll

• observation.images.wrist

  • 数据类型: video
  • 形状: [240, 320, 3]
  • 维度名称: height, width, channel
  • 视频信息:
    • 高度: 240
    • 宽度: 320
    • 编码格式: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30
    • 通道数: 3
    • 无音频

• observation.images.top

  • 数据类型: video
  • 形状: [480, 640, 3]
  • 维度名称: height, width, channel
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编码格式: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30
    • 通道数: 3
    • 无音频

动作数据

• action
  • 数据类型: float32
  • 形状: [5]
  • 关节名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll

元数据

• timestamp: float32, 形状 [1]
• frame_index: int64, 形状 [1]
• episode_index: int64, 形状 [1]
• index: int64, 形状 [1]
• task_index: int64, 形状 [1]

文件路径格式

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，该数据集通过LeRobot仿真平台精心构建，采用so_arm_101型机器人执行单一任务场景。数据采集过程涵盖31个完整交互序列，总计生成30412帧多维观测记录，以1000帧为单元进行分块存储。原始传感器数据经标准化处理，转化为高效的Parquet格式文件，同时配套保存同步采集的视觉数据流，形成结构化机器人行为数据库。

特点

该数据集显著特征体现在多模态数据融合架构，同时包含五维关节状态向量与双视角视觉信息。腕部摄像头提供240×320分辨率图像，顶部视角则具备480×640高清画面，两者均以30帧率同步记录操作过程。数据维度设计严格对应机器人执行器空间，动作指令与状态观测保持完全一致的关节映射关系，为模仿学习算法提供精准的时空对齐样本。

使用方法

研究人员可通过解析Parquet数据文件直接获取结构化机器人交互记录，每条数据包含时间戳、帧索引及任务标识等元信息。数据集采用分块存储策略，支持按需加载特定交互片段，视频数据则通过独立路径索引获取。典型应用场景包括端到端策略学习、行为克隆模型训练，以及多传感器融合算法的验证，所有数据均已划分训练集供机器学习流程直接调用。

背景与挑战

背景概述

在机器人学习领域，仿真环境为算法验证提供了安全可控的测试平台。lerobot-simulation-to-the-shelf-01数据集由HuggingFace的LeRobot项目团队构建，专注于机械臂操作任务的模拟数据采集。该数据集通过SO-Arm-101型机械臂模型，记录了包含肩部平移、肩部抬升、肘部弯曲、腕部弯曲及腕部旋转的五自由度关节控制序列，并同步采集顶部与腕部双视角的视觉观测数据。其核心研究价值在于为机器人模仿学习与策略泛化研究提供结构化多模态数据支撑，推动仿真到现实迁移的技术发展。

当前挑战

该数据集致力于解决机械臂精细化操作任务中的动作规划与感知融合挑战，具体体现为多关节协同控制精度与视觉引导的时空对齐问题。在构建过程中面临多传感器数据同步采集的技术难点，需确保30Hz采样频率下机械臂状态数据与双视角视频帧的严格时序匹配。此外，仿真环境与现实场景的动力学差异导致数据泛化能力受限，如何通过有限任务样本（仅含31条轨迹）构建具有强泛化性的策略模型成为关键瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过模拟机械臂执行货架放置任务，为强化学习算法提供了丰富的训练环境。其多视角视觉数据与关节状态记录相结合，使研究者能够构建从感知到动作的端到端控制模型，典型应用于模仿学习与离线强化学习框架中，有效提升了机械臂在复杂环境中的操作精度。

衍生相关工作

该数据集已催生多项基于LeRobot框架的衍生研究，包括结合Transformer架构的时序动作预测模型、基于对比学习的多视图特征对齐方法等。这些工作通过利用数据集中丰富的状态-动作对关系，发展了新型的机器人策略表示学习技术，为构建通用机器人操作系统奠定了数据基础。

数据集最近研究

最新研究方向

在机器人操作学习领域，该仿真数据集正推动多模态感知与动作规划的前沿探索。通过整合腕部与顶部双视角视觉流与五自由度关节状态数据，研究者致力于开发端到端的模仿学习框架，显著提升机械臂在仓储分拣场景下的泛化能力。当前研究热点聚焦于时空特征融合技术，利用长序列视频数据构建动态场景理解模型，同时结合强化学习策略优化动作序列的平滑性与精确度。这一方向不仅加速了仿真到实物的迁移效率，更为智能物流系统的自主化演进提供了关键数据支撑。