record-push-button-merged-01-05

该数据集使用LeRobot创建，包含25个剧集，共8920帧，专注于一个任务。数据集以Parquet文件格式存储，并包含相关视频文件。每个文件包含机器人的动作、状态、顶部和手腕的图像信息等特征。数据集划分为训练集。数据集遵循Apache-2.0许可。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 代码库版本: v3.0

数据规模

• 总任务数: 1
• 总回合数: 25
• 总帧数: 8920
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

数据特征

• 动作: 6维浮点数组，包含肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置
• 观测状态: 6维浮点数组，关节位置信息与动作特征一致
• 顶部图像观测: 480×640×3视频数据，AV1编码，无音频
• 腕部图像观测: 480×640×3视频数据，AV1编码，无音频
• 时间戳: 单精度浮点型
• 帧索引: 64位整型
• 回合索引: 64位整型
• 任务索引: 64位整型

数据组织

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 训练集划分: 0-25回合

机器人配置

• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作领域，该数据集通过LeRobot平台精心构建，采用SO101型跟随机器人执行单一任务，共采集25个完整交互片段。数据以分块存储方式组织，每1000帧形成一个数据块，总计8920帧观测记录，涵盖机械臂关节位置与视觉信息，并以30fps的同步频率保存多模态传感器数据。

特点

本数据集显著特点在于其多模态融合架构，同时包含六自由度机械臂的动作指令与双视角视觉观测——顶部与腕部摄像头均以480x640分辨率记录RGB视频流。数据维度设计严谨，动作空间与状态观测均采用六维浮点向量描述关节角度，辅以时间戳与索引体系，为模仿学习研究提供精确的时间对齐与轨迹追溯能力。

使用方法

研究者可通过解析标准Parquet格式文件访问数据集，利用帧索引与片段索引实现高效数据检索。训练时可直接调用预定义分割方案，全部25个片段均用于模型训练。视觉数据采用AV1编码压缩，需配合视频解码器提取像素信息，而关节状态数据可直接用于动力学模型构建，为机器人行为克隆算法提供端到端的学习范本。

背景与挑战

背景概述

机器人操作数据集作为强化学习与模仿学习研究的基础资源，其构建旨在推动智能体在物理环境中的自主决策能力发展。record-push-button-merged-01-05数据集由HuggingFace的LeRobot项目团队于2024年创建，聚焦于机械臂按钮按压任务的轨迹记录。该数据集通过整合六自由度关节状态、双视角视觉观测与时间序列标注，为机器人技能泛化研究提供了结构化交互数据，显著促进了从演示数据到实际策略的迁移学习研究进程。

当前挑战

在机器人操作领域，精准建模连续动作空间与多模态感知的关联性仍是核心难题。该数据集构建过程中面临传感器同步精度控制、异构数据流对齐等技术挑战，同时需保证演示轨迹在动态环境下的动作一致性。此外，从有限任务实例中提取可泛化表征时，还需克服视觉观测视角差异与机械臂运动学约束之间的耦合关系。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录机械臂执行按钮按压任务时的多模态数据，为模仿学习算法提供了典型范例。其包含的关节位置状态与双视角视觉信息，能够有效支撑端到端策略网络的训练过程，使机器人能够从演示中学习精细操作技能。

实际应用

在工业自动化场景中，该数据集支撑的算法可应用于电子设备装配线的按钮检测工序。基于视觉伺服控制的机械臂能通过学习数据集中蕴含的操作模式，实现精密电子元件的自动化按压操作，显著提升生产线的柔性与作业精度。

衍生相关工作

受该数据集启发，学界涌现出多项基于时空注意力机制的模仿学习研究。其中分层强化学习框架通过解构数据中的动作序列，实现了多阶段任务的策略学习；而跨模态表征对齐方法则利用双视角视觉数据，构建了更具泛化能力的动作生成模型。