record-push-button-04

这是一个关于机器人学的数据集，具体是使用LeRobot创建的。它包含了5个剧集，共有1624帧，1个任务。数据集以Parquet文件格式存储，并伴有对应的视频文件。数据集的结构包括机器人的动作、观测状态、顶部和手腕的图像、时间戳、帧索引、剧集索引、索引和任务索引等信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 5
• 总帧数: 1624
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

• 数据格式: Parquet文件
• 分块大小: 1000
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 训练集划分: 0:5

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

• 状态观测:

  • 名称: observation.state
  • 数据类型: float32
  • 维度: [6]
  • 包含相同的6个关节位置

• 图像观测:

  • 顶部摄像头:

    • 名称: observation.images.top
    • 类型: 视频
    • 分辨率: 480×640×3
    • 编码: AV1
    • 像素格式: yuv420p
    • 非深度图
    • 无音频

  • 腕部摄像头:

    • 名称: observation.images.wrist
    • 类型: 视频
    • 分辨率: 480×640×3
    • 编码: AV1
    • 像素格式: yuv420p
    • 非深度图
    • 无音频

索引特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作领域，record-push-button-04数据集通过LeRobot平台精心构建，采用so101_follower型机器人执行单一任务，采集了5个完整交互片段，总计1624帧数据。数据以分块形式存储于Parquet文件中，每块容量为1000帧，同时配套保存了高帧率视频记录，确保了动作序列与视觉观测的同步性。

特点

该数据集在机器人控制研究中展现出多维特征优势，不仅包含六自由度关节位置的动作指令与状态观测，还整合了顶部与腕部双视角的RGB视频流，分辨率达640x480像素。数据以30fps的采样率精确捕捉时序动态，并通过索引字段实现帧级精确定位，为模仿学习与行为克隆提供了丰富的多模态信息。

使用方法

研究人员可通过加载标准Parquet格式文件直接访问结构化数据，利用预定义的特征字段解析关节运动轨迹与视觉观测序列。训练集覆盖全部5个交互片段，支持端到端策略学习任务。视频数据采用AV1编码存储，配合时间戳与帧索引可实现动作与视觉信号的精准对齐，适用于深度强化学习模型的训练与验证。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据对策略泛化能力具有决定性作用。record-push-button-04数据集由HuggingFace的LeRobot项目构建，专门针对机械臂操作任务设计。该数据集通过SO101型仿随机器人采集了5个完整操作序列，包含1624帧多模态数据，融合了关节状态与双视角视觉信息。其核心价值在于为模仿学习与强化学习算法提供了真实世界的操作示范，推动机器人从感知到动作的端到端学习范式发展。

当前挑战

该数据集需解决机械臂精确操作中的动作空间建模难题，包括高维连续控制与多传感器数据对齐问题。构建过程中面临多源异构数据同步采集的技术挑战，需协调关节编码器与视觉传感器的时间戳精度。此外，示范数据的动作分割与任务语义标注需要精细设计，确保操作意图与动作序列的对应关系清晰可溯。

常用场景

经典使用场景

在机器人学习领域，record-push-button-04数据集通过记录机械臂执行按钮按压任务的多模态数据，为模仿学习算法提供了标准化的训练资源。该数据集包含关节位置、视觉观察和时间序列信息，能够有效支持端到端策略网络的训练过程，推动机器人操作技能的自动化习得。

衍生相关工作

受该数据集启发，学界涌现出多项基于分层强化学习的机械臂操控研究。部分工作通过解耦视觉感知与运动控制模块，构建了更高效的技能迁移框架。另有研究利用该数据集的时序特性，开发了基于Transformer的行为克隆算法，推动了机器人操作范式的革新。

数据集最近研究

最新研究方向

在机器人操作学习领域，record-push-button-04数据集凭借其多模态观测与关节动作的精确对齐特性，正成为模仿学习与强化学习算法验证的重要基准。当前研究聚焦于从稀疏演示数据中提取泛化策略，通过融合顶部与腕部双视角视觉流与六自由度关节状态，探索在动态环境中按钮按压任务的时空表征学习。随着具身智能研究热潮的兴起，该数据集为机器人技能迁移、跨场景操作适应等前沿课题提供了结构化验证框架，其开源特性进一步加速了社区在真实世界机器人操作泛化能力方面的突破性进展。