lerobot-grab-tape-2

这是一个用于机器人学任务的机器学习数据集，包含195个剧集，共81557帧，专注于一个任务。数据集提供了包括动作、观察状态、图像等特征的详细数据，以及对应的视频文件。所有数据均按照Apache-2.0许可证发布。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

• 配置名称: default
• 数据文件格式: Parquet
• 数据文件位置: data//.parquet

技术规格

• 代码库版本: v3.0
• 机器人类型: so100_follower
• 总任务数: 1
• 总片段数: 195
• 总帧数: 81557
• 帧率: 30 FPS
• 块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据划分

• 训练集: 0:195 (全部数据)

特征结构

动作特征 (action)

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态 (observation.state)

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

前视图像 (observation.images.front)

• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 音频: 无
• 深度图: 否

元数据特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 片段索引: int64 [1]
• 索引: int64 [1]
• 任务索引: int64 [1]

文件路径格式

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX引用: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，lerobot-grab-tape-2数据集通过LeRobot框架系统性地采集了195个完整操作序列，涵盖81557帧多维数据。该数据集采用分块存储架构，以1000帧为单元将数据封装于Parquet格式文件中，同时配备同步录制的操作视频流。数据采集过程中，机器人关节位置传感器与前置视觉传感器以30Hz频率同步记录，形成了包含六自由度机械臂动作指令与对应环境观测的时空对齐数据流。

特点

该数据集最显著的特征在于其多模态数据融合结构，既包含六维连续动作空间数据，又整合了480x640分辨率的三通道视觉观测信息。数据维度设计遵循机器人控制任务需求，动作特征与状态观测均采用浮点型数值精确描述关节角度变化。时序索引系统通过帧索引、回合索引与时间戳三重保障，为强化学习算法提供了精确的时间对齐基础。所有视觉数据采用AV1编码压缩，在保证质量的同时显著降低存储需求。

使用方法

研究者可通过标准数据加载流程调用该数据集，利用预设的Parquet数据接口直接读取分块存储的操作记录。每个数据块包含完整的动作-观测对序列，支持按回合索引进行分段训练。视觉数据可通过视频路径映射实时解码，与关节状态数据形成时空同步的多模态输入。数据集采用Apache 2.0开源协议，允许研究者自由用于机器人模仿学习、行为克隆等算法的训练与验证，所有数据划分均适用于端到端的机器人控制策略学习。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习融合方面取得显著进展，lerobot-grab-tape-2数据集作为LeRobot项目的重要组成部分，专门针对机械臂操作任务构建。该数据集采用SO100型仿人机器人平台，通过多模态传感器记录195个完整操作序列，涵盖81557帧时序数据，其核心研究目标在于解决复杂场景下的物体抓取策略泛化问题。数据采集过程严格遵循30Hz同步频率，融合关节状态观测与视觉感知信息，为机器人动作预测与状态估计研究提供了标准化基准。

当前挑战

在机器人操作任务领域，该数据集需应对高维连续动作空间中的策略优化挑战，特别是六自由度机械臂的轨迹规划与末端执行器精细控制问题。数据构建过程中面临多传感器时序对齐的技术难点，包括关节编码器数据与视觉帧的毫秒级同步需求。此外，大规模操作数据的存储与处理要求特殊设计，原始500MB视频数据与100MB结构化参数的混合存储架构，对分布式加载与实时渲染提出严峻考验。

常用场景

经典使用场景

在机器人操作学习领域，lerobot-grab-tape-2数据集通过记录机械臂抓取胶带任务的完整动作序列与视觉观测数据，为模仿学习与强化学习算法提供了标准化的训练环境。该数据集包含195个任务片段与8万余帧多模态数据，其六自由度关节空间动作与前置相机视觉反馈的同步记录，为研究端到端操作策略提供了理想实验平台。

解决学术问题

该数据集有效解决了机器人操作任务中样本效率低下与仿真到真实迁移困难的学术难题。通过提供真实机械臂的关节位置控制信号与同步视觉观测，研究者能够开发无需手工设计奖励函数的模仿学习框架。其丰富的状态-动作对序列为研究部分可观测环境下的策略泛化能力提供了数据支撑，显著推进了实体机器人技能学习的实证研究进展。

衍生相关工作

该数据集已催生多项机器人学习领域的创新研究，包括基于时空注意力的行为克隆架构、多模态表征融合网络等。研究者利用其连续动作空间特性开发了分层强化学习框架，同时其标准化的数据格式促进了跨数据集的元学习研究。这些工作通过挖掘数据集中隐含的任务结构，推动了机器人技能迁移与组合泛化能力的发展。