record-push-button-03

这是一个由LeRobot创建的机器人数据集，包含5个epsisodes，共计1722个frames。数据集以parquet文件格式存储，并包含对应的视频文件。数据集特征包括机器人的动作、状态以及顶部和手腕的图像信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总情节数: 5
• 总帧数: 1722
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

数据划分

• 训练集: 0:5

文件路径格式

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作特征

• 数据类型: float32
• 维度: 6
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: 6
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

顶部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图
• 无音频

腕部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图
• 无音频

元数据特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 情节索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，record-push-button-03数据集通过LeRobot平台精心构建，采用so101_follower型机器人执行单一任务，共采集5个完整交互序列，涵盖1722帧数据。数据以分块形式存储于Parquet文件中，每块容量为1000帧，确保高效处理与访问。机器人动作与状态观测均以六维浮点向量记录，分别对应肩部、肘部、腕部及抓取器的位置信息，辅以时间戳与帧索引等元数据，构建出结构化的机器人操作轨迹。

特点

该数据集在机器人操作研究中展现出多维感知特性，集成顶部与腕部双视角视觉数据，均以480x640分辨率的三通道视频流呈现，帧率为30fps，采用AV1编码格式。动作空间与观测状态均具备六自由度机械臂的完整位姿描述，数据类型统一为float32，保障了计算精度与效率。数据集总规模达600MB，涵盖视频与结构化数据，支持端到端的机器人模仿学习与行为分析任务。

使用方法

研究者可通过加载Parquet格式的数据文件，直接访问机器人的动作序列、关节状态及同步视觉观测。训练集包含全部5个交互序列，适用于行为克隆、强化学习等算法验证。视频数据可通过指定路径动态解码，结合帧索引实现时序对齐。该数据集兼容主流机器人学习框架，能够快速集成至训练流水线，为机械臂操作策略的开发提供标准化实验基础。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为实现复杂操作任务的重要范式，亟需高质量的动作-感知交互数据集支撑。record-push-button-03数据集由LeRobot研究平台构建，采用Apache 2.0开源协议，聚焦于机械臂执行按钮按压任务的动态场景记录。该数据集通过集成多视角视觉感知与关节运动轨迹，完整捕捉了六自由度机械臂在任务执行过程中的状态空间演变，为机器人动作策略的端到端学习提供了结构化数据基础。其包含1722帧同步记录的运动学参数与双路视觉流，形成了机器人操作技能迁移研究的典型范本。

当前挑战

该数据集针对机器人操作技能泛化问题，需解决从多模态感知到动作序列生成的映射难题。构建过程中面临多传感器时序对齐的技术挑战，包括机械臂关节编码器与双路视觉传感器在30Hz采样频率下的数据同步问题。数据标注维度涵盖六维连续动作空间与高分辨率图像流，对存储架构与计算资源提出较高要求。此外，真实场景下的光照变化与机械臂运动遮挡现象，为视觉感知模块的鲁棒性建模带来额外复杂度。

常用场景

经典使用场景

在机器人操作任务研究中，该数据集通过记录机械臂执行按钮按压动作的完整轨迹，为模仿学习算法提供了标准化的训练资源。其多模态观测数据包含关节状态与视觉信息，能够有效支持端到端策略学习，尤其适用于验证机械臂在动态环境中的精细操作能力。

衍生相关工作

以该数据集为基准，衍生出多项关于多模态模仿学习的创新研究。例如基于时空注意力机制的策略网络架构，通过融合关节运动与视觉特征实现了更高精度的动作复现；另有研究利用其序列数据开发了分层强化学习框架，显著提升了长周期任务的动作连贯性与泛化能力。

数据集最近研究

最新研究方向

在机器人操作学习领域，record-push-button-03数据集凭借其多模态特性成为研究焦点。该数据集通过集成机械臂关节状态与双视角视觉数据，为模仿学习与强化学习算法提供了丰富的训练基础。当前研究趋势聚焦于跨模态表征对齐技术，旨在解决视觉观测与动作序列的时序关联问题。随着具身智能研究兴起，该数据集被广泛应用于机器人零样本泛化能力评估，特别是在未知环境下的按钮操作任务中展现出重要价值。其标准化数据格式与LeRobot生态系统的深度集成，进一步推动了机器人学习研究的可复现性与算法迭代效率。