record-push-button-01

这是一个使用LeRobot创建的机器人操作数据集，包含5个集的总共1798帧，每个集包含1000个数据块。数据集采用Apache-2.0许可证，主要包括动作、观测状态、顶部和手腕的图像等信息，适用于机器人学相关的研究和开发。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据集规模

• 总任务数: 1
• 总回合数: 5
• 总帧数: 1798
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

• 数据格式: Parquet文件
• 分块大小: 1000
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 训练集划分: 0:5

数据特征

动作特征

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: [6]
• 关节位置: 与动作特征相同

图像观测

顶部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码格式: AV1
• 像素格式: yuv420p
• 非深度图

腕部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码格式: AV1
• 像素格式: yuv420p
• 非深度图

索引特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 任务索引: int64[1]
• 全局索引: int64[1]

创建信息

• 创建工具: LeRobot
• 创建工具链接: https://github.com/huggingface/lerobot

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，record-push-button-01数据集通过LeRobot平台系统采集，采用SO101型跟随机器人执行单一任务场景。数据以分块存储形式组织，包含5个完整操作序列，总计1798帧动作记录，每帧以30Hz频率同步采集机器人关节状态与视觉信息，并通过Parquet格式高效压缩存储。

特点

该数据集融合多模态感知数据，涵盖六自由度机械臂的关节位置控制指令与双视角视觉反馈，包含顶部及腕部摄像头采集的480×640分辨率RGB视频流。数据结构采用标准化特征描述，支持动作状态与观测图像的时空对齐，为模仿学习算法提供精确的时空关联基础。

使用方法

研究人员可通过加载Parquet数据文件获取机器人状态序列与视觉观测，利用帧索引与时间戳实现动作-观测对齐。数据集已预设训练划分，支持直接用于行为克隆或强化学习模型训练，视频数据可通过指定路径解码获取多视角视觉上下文，适用于端到端机器人操作策略学习。

背景与挑战

背景概述

在机器人技术领域，模仿学习作为实现智能行为决策的重要范式，亟需高质量示教数据集支撑算法演进。record-push-button-01数据集基于LeRobot开源框架构建，采用so101_follower型机器人平台，聚焦于机械臂操作任务场景。该数据集通过多模态传感器同步采集6自由度关节控制指令与双视角视觉观测，其结构化存储方案与时间戳对齐机制为机器人动作生成研究提供了标准化数据基础。

当前挑战

该数据集致力于解决机器人精细操作任务中的动作规划难题，其核心挑战在于机械臂末端执行器与目标按钮的空间定位精度要求。构建过程中面临多源传感器时序同步的技术瓶颈，需协调关节编码器与视觉系统采样频率；同时双视角视频数据的存储优化与实时解码效率也成为工程实现的关键制约因素。

常用场景

经典使用场景

在机器人学习领域，record-push-button-01数据集为模仿学习算法提供了重要支撑。该数据集通过记录六自由度机械臂执行按钮按压任务时的关节位置状态与多视角视觉信息，构建了完整的动作-观测序列。研究者可基于这些真实交互数据训练策略网络，使机器人能够从示范中学习精细的操作技能。数据集包含的肩部平移、肩部抬升、肘部弯曲等关节维度数据，为分析连续控制任务中的运动轨迹规划提供了丰富样本。

实际应用

在工业自动化场景中，该数据集支撑的算法可应用于装配线上的按钮操作任务。基于数据驱动的控制策略能够适应不同规格的按钮装置，降低传统编程调试成本。服务机器人领域亦可借鉴其学习范式，实现智能家居环境中的设备操控功能。数据集提供的腕部与顶部双视角视觉信息，特别适合开发对视角变化鲁棒的视觉伺服系统，提升机器人在复杂环境中的操作可靠性。

衍生相关工作

基于此类机器人操作数据集，学界衍生出多项经典研究。行为克隆算法通过该数据集验证了从状态-动作对中学习策略的有效性，深度Q网络等强化学习方法则利用其构建离线评估环境。近期研究工作聚焦于跨任务泛化能力，通过迁移学习将按钮按压技能适配至旋钮调节等相似操作。数据增强技术的创新也受益于此类高质量示范数据，为样本效率提升提供了重要基准。