record-push-button-02

这是一个关于机器人的数据集，包含了5个剧集共1987帧，每个剧集包含一个任务。数据集采用Parquet格式存储，并提供了对应的视频文件。数据集的特征包括机器人的动作位置、观察状态以及顶部和腕部的图像信息。所有数据均按照Apache-2.0许可证发布。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v3.0
• 机器人类型: so101_follower
• 总回合数: 5
• 总帧数: 1987
• 总任务数: 1
• 块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 数据分割: train (0:5)

数据特征

动作特征

• 数据类型: float32
• 维度: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

顶部摄像头:

• 数据类型: video
• 分辨率: 480×640×3
• 视频属性:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: false
  • 帧率: 30
  • 通道数: 3
  • 音频: false

腕部摄像头:

• 数据类型: video
• 分辨率: 480×640×3
• 视频属性:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: false
  • 帧率: 30
  • 通道数: 3
  • 音频: false

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 回合索引: int64 [1]
• 索引: int64 [1]
• 任务索引: int64 [1]

文件路径格式

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性对模型训练至关重要。record-push-button-02数据集通过LeRobot平台构建，采用so101_follower型机器人执行单一任务，共记录5个完整操作序列，累计1987帧数据。数据以分块形式存储于Parquet格式文件中，每块包含1000帧，同时配备双视角视频流（顶部与腕部摄像头），以30帧/秒的速率同步记录机器人关节位置与视觉信息，形成多模态时序数据集。

使用方法

针对机器人控制算法的开发需求，数据集支持端到端的训练流程。研究者可通过加载Parquet文件直接获取动作-观测对序列，利用帧索引重建完整操作轨迹。双路视频流可与关节数据联合建模，实现从视觉感知到运动控制的映射学习。数据集采用Apache 2.0许可协议，兼容主流强化学习框架，其分块存储结构支持流式加载，适用于长序列任务建模与跨模态表示学习实验。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据的稀缺性长期制约着策略泛化能力的提升。record-push-button-02数据集由HuggingFace的LeRobot项目构建，专注于机械臂操作任务的动态记录。该数据集通过so101_follower型机器人采集了1987帧多维时序数据，包含关节空间动作指令与双视角视觉观测的同步映射，为模仿学习与端到端策略训练提供了结构化数据支撑。其采用Apache 2.0开源协议的特性，显著降低了机器人学习研究的入门门槛。

当前挑战

该数据集需解决机械臂精细操作中的动作-感知协同难题，包括多模态信号时序对齐精度不足、关节空间动作与视觉观测的异构数据融合困难等核心问题。在构建过程中面临传感器标定误差累积、机械臂运动轨迹噪声干扰等工程挑战，同时受限于示范数据规模较小导致的策略过拟合风险。视频编码压缩引发的视觉特征损失与高维动作空间的样本效率矛盾，进一步增加了算法训练的复杂度。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录机械臂执行按钮按压任务的多模态数据，为模仿学习算法提供了标准化的训练资源。其包含的关节位置状态与双视角视觉信息，能够有效支撑端到端策略网络的训练过程，尤其适用于从演示数据中学习精细操作技能的研究场景。

解决学术问题

该数据集主要解决了机器人技能传递中的动作表征学习难题，通过提供同步的机械臂状态与视觉观测序列，为研究动作-感知耦合机制提供了数据基础。其结构化存储的关节空间轨迹与多视角视频流，显著降低了复杂操作任务中动态建模的难度，推动了基于演示的强化学习算法在真实机器人平台上的验证进程。

实际应用

在工业自动化场景中，该数据集可直接用于训练机械臂执行标准化操作任务，如设备启停控制或流水线工件触发。其记录的六自由度关节控制数据与稳定视觉反馈，为构建自适应操作系统提供了关键数据支撑，特别适用于需要精确空间定位的柔性制造环境。

数据集最近研究

最新研究方向

在机器人操作学习领域，record-push-button-02数据集凭借其多模态观测与关节控制动作的精细记录，正推动模仿学习与强化学习的深度融合。当前研究聚焦于从稀疏示教数据中提取可泛化的操作策略，通过融合顶部与腕部双视角视觉信息与六维关节状态，探索跨场景的按钮按压技能迁移。随着具身智能研究热潮的兴起，该数据集为机器人精细操作的可复现性评估提供了基准，其开源特性更促进了社区在真实世界任务中验证算法鲁棒性的进程。