lerobot-red-button-smasher

该数据集由LeRobot创建，主要用于机器人技术领域的研究和教程。数据集采用Apache-2.0许可协议，包含3个episodes，共736帧数据，涉及1个任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集结构包括观察状态（关节位置）、观察图像（侧视和前视视频，分辨率为480x640，30fps）、动作（关节位置）以及时间戳、帧索引、episode索引等元数据。机器人类型为ufactory_lite6，数据按chunk存储，每个chunk大小为1000。适用于机器人控制、行为学习等任务。

This dataset is created by LeRobot and is mainly used for research and tutorials in the field of robotics. The dataset adopts the Apache-2.0 license and contains 3 episodes, totaling 736 frames of data, involving 1 task. The data is stored in parquet format, with a total data file size of 100MB and a video file size of 200MB. The dataset structure includes observation states (joint positions), observation images (side and front view videos, resolution 480x640, 30fps), actions (joint positions), as well as metadata such as timestamps, frame indices, and episode indices. The robot type is ufactory_lite6, and the data is stored in chunks, with each chunk size being 1000. It is suitable for tasks such as robot control and behavior learning.

原始信息汇总

数据集概述

数据集名称：lerobot-red-button-smasher

许可证：Apache-2.0

任务类别：机器人学（Robotics）

标签：LeRobot、tutorial

数据集描述

该数据集使用 LeRobot 创建，包含机器人操作任务的记录数据。数据集由 3 个训练片段（episodes）组成，共计 736 帧画面，所有片段均用于训练。数据集仅包含 1 个任务。

数据集规模

• 总片段数：3
• 总帧数：736
• 总任务数：1
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB
• 帧率：30 FPS
• 训练/测试划分：全部 3 个片段用于训练（train: 0:3）

机器人类型

• 机器人型号：ufactory_lite6（优傲 Lite6 协作机器人）

数据特征

数据集包含以下特征字段：

特征名	数据类型	描述	形状
observation.state	float32	机器人 6 个关节的位置（joint1.pos ~ joint6.pos）	[6]
observation.images.side	视频（video）	侧面摄像头图像，480×640 像素，3 通道，AV1 编码，30 FPS	[480, 640, 3]
observation.images.front	视频（video）	正面摄像头图像，480×640 像素，3 通道，AV1 编码，30 FPS	[480, 640, 3]
action	float32	机器人 6 个关节的动作指令（joint1.pos ~ joint6.pos）	[6]
timestamp	float32	时间戳	[1]
frame_index	int64	帧序号	[1]
episode_index	int64	片段序号	[1]
index	int64	全局索引	[1]
task_index	int64	任务索引	[1]

数据存储结构

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 元数据文件：meta/info.json

可视化

您可以通过 LeRobot 可视化工具 在线浏览该数据集内容。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，通过操控ufactory_lite6型机器人完成“红色按钮击打”任务进行采集。数据记录过程中，机器人以30帧/秒的采样频率，同步捕获六自由度关节状态、前方与侧方视觉图像（分辨率480×640）及动作指令。全量数据包含3个完整轨迹片段，共计736帧，并按照训练集进行划分。原始数据以Parquet格式存储于data目录下的分块文件中，而视觉观测则编码为AV1格式的视频文件，存放于videos目录中，确保高效存储与加载。

特点

该数据集聚焦于单一明确任务，结构紧凑且层次分明，适合作为机器人模仿学习的入门教程示例。其观测空间融合了6维连续状态（各关节角度）与多视角视觉信息，为算法提供了丰富的环境感知能力。动作空间与状态空间维度一致，便于构建端到端的策略网络。此外，数据包含精确的时间戳、帧索引及轨迹编号，支持时序建模与片段化训练，且总数据量控制在较小规模（约300MB），降低了实验门槛。

使用方法

用户可通过HuggingFace Spaces提供的可视化界面直接浏览样本图像与轨迹信息，实现快速数据预览。在代码层面，推荐使用LeRobot库中的dataset.load函数加载Parquet与视频文件，返回标准的PyTorch Dataset对象。数据集中预定义的splits字段仅含训练集，用户可根据episode_index灵活划分验证集。每个样本以字典形式返回，键包括observation.state、observation.images（含front与side）、action等字段，可直接作为模仿学习或离线强化学习算法的输入，尤其适用于行为克隆（Behavior Cloning）方法的训练与评估。

背景与挑战

背景概述

在机器人学习领域，模仿学习（Imitation Learning）通过专家示范数据驱动策略学习，已成为实现复杂操控任务的关键范式。lerobot-red-button-smasher数据集由Hugging Face LeRobot团队基于开源框架创建，旨在为小型机械臂（如Ufactory Lite6）提供简洁且可复现的示范数据集。该数据集专注于单一任务——机械臂精准击打红色按钮，共包含3个完整轨迹片段、736帧时间序列数据，涵盖关节角度状态、前置与侧方640×480像素的视觉观测，以及30Hz频率下的动作指令。作为LeRobot生态中的入门级教程数据集，其设计初衷在于降低机器人学习的研究门槛，使初学者能够快速体验从数据收集、可视化到策略训练的全流程，从而推动机器人操作技能的民主化与教育普及。

当前挑战

该数据集所解决的领域挑战在于简化机器人任务表示与验证流程：一方面，机械臂需在动态环境下完成精确的末端轨迹控制与视觉伺服，这对低维状态与高维图像信息的融合提出了要求；另一方面，仅3个轨迹的数据量使得模型易陷入过拟合，难以泛化至按钮位置或光照变化的场景。在构建过程中，核心挑战包括利用LeRobot框架实现多模态数据（关节角度、图像、时间戳）的同步采集与高效压缩存储（AV1视频编码、Parquet格式），并在有限示范下确保动作示教的一致性——例如不同演示中击打红色按钮的接触特征与力反馈的差异，需通过规范化数据接口（如标准化特征名称与分块策略）加以协调。数据集的规模与任务特异性也考验着其在迁移学习与少样本模仿学习中的实用价值。

常用场景

经典使用场景

在机器人学习与模仿学习领域，lerobot-red-button-smasher数据集常被用作行为克隆（Behavior Cloning）与策略学习的基础训练资源。该数据集记录了机械臂ufactory_lite6在执行“按压红色按钮”这一单一任务时的完整运动轨迹，包含3个回合共736帧的关节状态序列与多视角视觉图像。研究者可借此训练端到端的神经网络模型，学习从图像观测到关节动作的映射关系，进而验证模型在精确操作任务中的泛化能力。

解决学术问题

该数据集有效回应了机器人学习中“少样本模仿学习”与“视觉-运动控制耦合”这两个学术难题。在仅有3条演示轨迹的约束下，它挑战了传统依赖大规模数据的监督学习方法，促使学界探索数据高效的小样本学习算法。同时，通过同时提供侧视与前视相机图像，它促进了跨视角特征融合与视觉不变性表征的研究，推动了鲁棒性更强的机器人控制策略的构建。

衍生相关工作

基于该数据集的设计理念，衍生出了若干具有标志性的研究工作。例如，部分学者借鉴其“少回合演示+多模态观测”的范式，构建了通用机器人操作技能库（如Push-T数据集）；LeRobot社区也围绕此数据格式开发了配套的模仿学习基线算法，如扩散策略（Diffusion Policy）与基于Transformer的动作分块（Action Chunking with Transformers）。这些工作共同推动了低数据依赖下机器人精细操作研究的进步。