ramen-noodels/red_button_small_n75

该数据集是一个机器人学数据集，使用LeRobot创建，包含25个训练集，总帧数为2222，涉及1个任务。数据以Parquet文件格式存储，总大小为100MB，视频文件大小为200MB，帧率为10fps。数据集的特征包括奖励值、成功标志、种子、时间戳、机器人位姿、夹爪状态、关节位置、力/力矩传感器数据、按钮状态、动作、帧索引、集索引、索引、任务索引、观察状态、手腕图像观察（3通道，240x320分辨率）和音频频谱图观察（3通道，298x128分辨率）。数据集采用Apache 2.0许可证。This dataset is a robotics dataset created using LeRobot, containing 25 training episodes with a total of 2222 frames and involving 1 task. The data is stored in Parquet format, with a total size of 100MB for data files and 200MB for video files, and a frame rate of 10fps. The dataset features include reward value, success flag, seed, timestamp, robot pose, gripper state, joint positions, force/torque sensor data, button state, action, frame index, episode index, index, task index, observation state, wrist image observation (3 channels, 240x320 resolution), and audio spectrogram observation (3 channels, 298x128 resolution). The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

red_button_small_n75数据集依托于LeRobot框架构建，旨在为机器人操控任务提供标准化训练样本。该数据集包含25个完整回合，共计2222帧时序数据，所有数据均划分为训练集。原始数据以Parquet二进制格式存储于分块文件中，通过元信息文件定义了特征结构，涵盖机器人关节角度、末端执行器位姿、夹爪状态、力觉传感、按钮状态、奖励信号及成功标志等关键观测变量。同时，高清腕部摄像头影像与音频频谱图以压缩视频形式存档，确保了多模态感知信息的完整性。

特点

该数据集呈现三大显著特色：其一，规模精炼但维度丰富，仅100MB的结构化数据与200MB的视频文件便涵盖了机器人操控的全要素信息；其二，配备多模态观测通道，融合了6维关节角、6维力觉矢量、视觉图像与音频频谱，为模仿学习算法提供了完整的环境感知输入；其三，统一采用10Hz采样频率，时间序列对齐精确，且每个样本均包含9维动作指令，便于端到端策略的监督训练。此外，任务单一聚焦于按钮操控场景，降低了领域迁移复杂度。

使用方法

使用该数据集时，可借助LeRobot库直接加载Parquet分块文件与对应视频资源。数据以回合为单位组织，用户通过索引访问连续帧序列，提取'observation.state'、'observation.images.wrist_image'及'action'等字段构建训练对。由于视频采用AV1编码与10FPS帧率，需确保环境支持解码。建议将25个回合按需划分验证子集，并利用预定义特征名称映射至算法接口，如将'btn_state'作为环境反馈，'next.success'作为任务完成判定指标，从而高效开展模仿学习或离线强化学习实验。

背景与挑战

背景概述

red_button_small_n75数据集由Hugging Face社区基于LeRobot框架创建，专注于机器人操作任务的学习与研究。该数据集围绕“按钮按压”这一基础操作任务构建，包含25个演示片段，共计2222帧时序数据，并融合了机器人关节状态、力觉传感、视觉图像及音频频谱等多模态信息。其核心研究问题在于探索如何通过有限的高质量示范数据，使机器人掌握精准的物体交互技能，尤其是针对小尺度、高灵敏度的按键操作。作为LeRobot生态中的轻量级标准测试基准，该数据集为验证模仿学习与强化学习算法在真实机器人任务上的泛化能力提供了便捷入口，尤其适用于计算资源受限或需要快速迭代的研究场景。

当前挑战

该数据集所解决的领域问题聚焦于机器人精细操作中的样本效率与多模态融合挑战。传统机器人学习常依赖海量数据，而red_button_small_n75仅有25个片段，要求算法能从极少示范中高效泛化，同时处理由腕部摄像头与音频频谱构成的异构输入。构建过程中面临的主要挑战包括：精确同步多个传感器模态（视觉、力觉、音频）与机器人运动指令的时间对齐，以及在高频10Hz采样率下保障数据完整性。此外，数据集规模小，对数据增强策略与过拟合抑制技术提出了较高要求，且任务本身需要机器人具备对微小力反馈变化和按钮状态（btn_state）的灵敏响应能力。

常用场景

经典使用场景

在机器人学习与模仿学习交叉领域，red_button_small_n75数据集因其精巧的任务设计而备受青睐。该数据集聚焦于机械臂按压按钮这一典型精细操作，采集了25个完整回合、总计2222个时间步的高频轨迹数据。每个样本均包含机器人关节位姿、末端夹爪状态、六维力觉信息以及腕部视觉图像等多模态观测，并记录有明确的按压动作指令和任务成功标签。研究者常将其作为基准，用于验证基于视觉和力觉融合的行为克隆算法，或评估模型在低样本量条件下的泛化能力。该数据集规模适中，既能够支撑从零开始的策略训练，又便于快速迭代测试不同网络架构，成为精细操控任务中一个具有代表性的小样本学习测试平台。

解决学术问题

该数据集主要解决了机器人精细操作中接触状态感知与动作策略泛化的关键学术难题。传统机器人控制方法在面对金属与硬质表面接触时，极易因微小位置偏差导致任务失败。通过提供同步的六维力觉信号和关节力矩数据，red_button_small_n75使研究者得以深入探究力位混合控制机制中的深层规律。数据集中的成功标签与奖励信号为基于强化学习的接触任务提供了稀疏但明确的性能度量，有效解决了奖励漫游问题。依据其多模态特征，学界能够系统分析视觉预训练模型与触觉编码器在操作任务中的互补效应，推动了接触任务从状态机控制向端到端神经策略的范式迁移。这一标准化测试环境显著降低了精细操作研究的实验复现成本。

衍生相关工作

基于red_button_small_n75数据集的特性，学界衍生出一系列具有标志性的研究工作。在行为克隆领域，研究者提出了融合力觉时序特征与视觉注意力的多模态变分编码器，显著提升了策略在夹爪微小移动时的稳健性。于逆强化学习方向，该数据集中的稀疏成功信号被用于学习潜在的奖励函数结构，从而在未见过的按钮材质上实现零样本迁移。同时，数据集所包含的同步视频帧序列为时间对比学习提供了天然的预训练素材，催生了专门面向精细操作的代表性工作——基于空间时域重建的轻量级策略网络。此外，围绕该数据集的力觉频谱分析，相关团队开发了基于接触力学先验的物理信息神经网络，在仅使用50%训练数据的情况下即达到95%以上的按压成功率。