record-push-button-05

这是一个关于机器人学的数据集，包含了5个剧集，共计1789帧，1个任务。数据集采用Apache-2.0许可证。数据以.parquet格式存储，并伴有相应的视频文件。数据集的特征包括机器人的动作、状态、顶部和手腕的图像等信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总情节数: 5
• 总帧数: 1789
• 总任务数: 1
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 训练集划分: 0:5

数据特征

动作特征

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

• 状态观测:

  • 数据类型: float32
  • 维度: [6]
  • 包含与动作相同的6个关节位置

• 图像观测:

  • 顶部摄像头:
    • 数据类型: video
    • 分辨率: 480×640×3
    • 视频编码: AV1
    • 像素格式: yuv420p
    • 非深度图
    • 无音频
  • 腕部摄像头:
    • 与顶部摄像头具有相同规格

元数据特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 情节索引: int64 [1]
• 索引: int64 [1]
• 任务索引: int64 [1]

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，record-push-button-05数据集通过LeRobot平台系统采集了5个完整操作序列，涵盖1789帧实时交互数据。该数据集采用分块存储机制，以1000帧为单元将动作轨迹与多模态观测数据封装于Parquet格式文件中，同时配套保存了30fps的双视角视觉记录。数据采集依托so101_follower型机器人平台，完整记录了六自由度机械臂关节位置、夹爪状态及时间戳等结构化信息。

特点

该数据集的核心价值在于其多维度的机器人操作特征体系，不仅包含六维连续动作空间与完全对应的关节状态观测，还集成顶部与腕部双视角视觉流。所有图像数据均以480×640分辨率的三通道视频形式存储，采用AV1编解码技术平衡质量与效率。数据帧间严格对齐时间索引与任务标识，形成兼具时空一致性与任务可追溯性的机器人操作档案。

使用方法

研究者可通过解析Parquet数据文件获取结构化机器人操作记录，利用帧索引与回合标识重构完整任务轨迹。视觉数据支持通过视频路径模板加载双视角动态观测，配合动作-状态对应关系可用于模仿学习或策略评估。数据集已预置训练划分方案，所有5个任务序列均适用于端到端机器人技能学习模型的训练与验证过程。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为实现智能体自主操作的重要范式，需要高质量的动作-观测序列数据支撑。record-push-button-05数据集由LeRobot平台构建，专门针对机械臂执行按钮按压任务设计，其数据架构融合了多视角视觉观测与关节状态信息，为研究机器人精细操作策略提供了结构化实验数据。该数据集通过记录六自由度机械臂的关节位置轨迹与同步视觉反馈，构建了从感知到执行的完整闭环，为机器人技能迁移与策略泛化研究奠定了数据基础。

当前挑战

该数据集旨在解决机器人模仿学习中动作精确定位与多模态感知融合的核心难题。构建过程中面临传感器同步校准的技术挑战，需确保关节编码器数据与双视角视觉流的时间对齐精度；同时，机械臂运动轨迹的平滑性约束与任务成功率之间的平衡，要求数据采集过程兼顾操作效率与数据质量。此外，跨场景泛化能力受限于有限的任务多样性，当前仅包含单一按钮按压任务，对复杂动态环境的适应性仍需进一步拓展。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录机械臂执行按钮按压任务的完整轨迹，为模仿学习算法提供了关键训练数据。其多模态观测数据包含关节状态与双视角视觉信息，能够有效支持端到端策略网络的训练过程，帮助模型理解复杂环境下的动作序列生成机制。

解决学术问题

该数据集主要解决了机器人技能迁移中的样本效率问题，通过结构化存储动作-观测对序列，为深度强化学习提供了可复现的实验基准。其精确的时间戳与帧索引设计，使得研究者能够深入分析动作序列的时序依赖性，推动了动态系统建模与状态估计方法的发展。

衍生相关工作

该数据集的发布催生了多项机器人学习领域的重要研究，包括基于时空注意力的行为克隆框架、多传感器融合的端到端控制网络等创新工作。这些研究通过利用数据集中的结构化运动轨迹，显著提升了机械臂在非结构化环境中的操作能力。