ramen-noodels/red_button_small_n25

该数据集由LeRobot项目创建，专注于机器人学任务。它包含75个episodes，总计7061帧，帧率为10fps。数据以parquet文件格式存储，并附带mp4格式的视频文件，总数据大小约为100MB，视频文件大小约为200MB。数据集仅包含一个任务，并分为训练集（涵盖所有episodes）。特征包括：next.reward（奖励值，float32类型）、next.success（成功标志，bool类型）、seed（种子值，int64类型）、timestamp（时间戳，float32类型）、robot_pose（机器人姿态，6维float32数组）、gripper_state（夹爪状态，float32类型）、joints（关节状态，6维float32数组）、ft（力/力矩数据，6维float32数组）、btn_state（按钮状态，float32类型）、action（动作，9维float64数组）、frame_index（帧索引，int64类型）、episode_index（episode索引，int64类型）、index（索引，int64类型）、task_index（任务索引，int64类型）、observation.state（观测状态，float32类型）。此外，观测数据包括来自手腕摄像头的图像（observation.images.wrist_image，视频格式，3通道，240x320分辨率，使用av1编解码器）和音频频谱图（observation.audio.spectogram_values，视频格式，3通道，298x128分辨率，使用av1编解码器）。这些特征支持机器人控制、感知和强化学习应用。This dataset was created using the LeRobot project and focuses on robotics tasks. It consists of 75 episodes, totaling 7061 frames with a frame rate of 10fps. The data is stored in parquet file format and accompanied by video files in mp4 format, with a total data size of approximately 100MB and video file size of about 200MB. The dataset includes only one task and is split into a training set (covering all episodes). Features include: next.reward (reward value, float32 type), next.success (success flag, bool type), seed (seed value, int64 type), timestamp (timestamp, float32 type), robot_pose (robot pose, 6-dimensional float32 array), gripper_state (gripper state, float32 type), joints (joint states, 6-dimensional float32 array), ft (force/torque data, 6-dimensional float32 array), btn_state (button state, float32 type), action (action, 9-dimensional float64 array), frame_index (frame index, int64 type), episode_index (episode index, int64 type), index (index, int64 type), task_index (task index, int64 type), observation.state (observation state, float32 type). Additionally, observation data includes images from a wrist camera (observation.images.wrist_image, video format, 3 channels, 240x320 resolution, using av1 codec) and audio spectrograms (observation.audio.spectogram_values, video format, 3 channels, 298x128 resolution, using av1 codec). These features support applications in robot control, perception, and reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，聚焦于机器人操作任务的记录与表示。通过采集机器人执行单类任务的多轮次交互数据，共计75个训练片段（episodes），每段以每秒10帧的频率采样，累积7061帧有效信息。数据存储采用分块式parquet格式，视频数据编码为AV1格式并独立存放于mp4容器中，从而实现了结构化数据与视觉信息的解耦管理。

特点

数据集呈现出多模态与状态密集型特性。特征空间囊括了机器人关节角度、末端执行器六维位姿、六维力/力矩传感读数、夹爪状态以及按钮状态等物理量，同时配备腕部摄像头实时图像与音频频谱图。奖励信号与任务成功标志被清晰标注，形成了一套完整的闭环评估依据。所有特征均以标准化浮点型或布尔型数据存储，维度明确，便于直接作为神经网络模型的输入。

使用方法

使用者可借助LeRobot库直接加载该数据集，通过指定split参数访问全部75个训练片段。数据加载器将自动按chunk索引读取parquet文件与对应视频片段，以帧或片段为单位输出特征张量。典型应用场景包括模仿学习中的行为克隆、奖励函数建模，以及基于视觉与状态输入的策略学习。建议使用前安装LeRobot并配置好视频解码所需的AV1支持库。

背景与挑战

背景概述

随着机器人学习领域的蓬勃发展，模仿学习与基于数据驱动的策略训练日益成为推动智能体操控能力突破的关键范式。red_button_small_n25数据集正是在这一背景下应运而生，由Hugging Face团队依托其LeRobot框架于近期创建，旨在为机器人操控任务提供标准化、可复现的训练与评估数据。该数据集聚焦于一项核心研究问题：如何通过视觉与触觉等多模态信息，使机器人精确执行按钮按压等精细操控动作。尽管数据集规模有限，仅包含75个片段、约7000帧数据，但其设计精巧，集成了机器人位姿、关节角度、力传感器读数、音频谱图及腕部图像等多种特征，为研究多模态感知与动作映射提供了宝贵的实验平台。该数据集采用Apache-2.0许可协议发布，降低了使用门槛，有望在机器人技能学习社区中激发新的探索方向，尤其适用于验证小样本学习与迁移学习算法在真实操控场景中的有效性。

当前挑战

当前该数据集所面临的挑战首先来源于领域问题的固有难度：机器人精细操控任务要求精准的时空间协调，而按钮按压这类动作兼具高重复性与微小差异性，单一任务（total_tasks为1）虽降低了问题复杂度，却也对模型在有限数据下的泛化能力提出了严苛考验。具体而言，如何融合每秒10帧的腕部视频、6维力触觉信号与音频谱图等异构数据，以构建鲁棒的跨模态表示，是制约策略性能提升的关键瓶颈。在数据集构建层面，挑战同样不容忽视。全部75个片段均被划归训练集，未见明确的验证或测试划分，这增加了过拟合风险，并难以进行公正的模型对比。此外，数据采集过程中如何保证不同片段间操控轨迹的多样性，并规避机械臂或传感器噪声带来的数据偏差，亦对构建高质量基准数据集构成了实质困难。

常用场景

经典使用场景

在机器人学习领域，该数据集专为机械臂按压红色按钮这一精细操作任务而设计，包含75个演示片段，共计7061帧数据，涵盖了机械臂关节角度、末端执行器位姿、夹爪状态、力觉传感以及按钮状态等多模态信息。其经典使用场景在于训练机器人从真实物理交互中学习触觉驱动的闭环控制策略，尤其适用于模仿学习与强化学习算法的验证与评估，能够有效推动接触式操作任务的智能化进程。

衍生相关工作

该数据集衍生了多项经典工作，包括基于扩散策略的行为克隆框架、融合触觉与视觉的模仿学习架构，以及面向细粒度操作的对抗式强化学习方法。研究者利用其多模态特征，开发了能适应不同按钮材质和按压角度的运动规划算法，并推动了LeRobot社区中标准化数据格式在操作任务中的广泛应用。

数据集最近研究

最新研究方向

red_button_small_n25数据集聚焦于机器人按压按钮的精细操作任务，融合了本体感知、力觉反馈与视觉、音频等多模态信息，为模仿学习与具身智能研究提供了高质量示范数据。当前前沿方向正借助LeRobot框架探索基于视觉-语言模型指导的机器人技能泛化，以及利用小样本学习从少量人类演示中提取可迁移的操作策略。该数据集的出现推动了机器人进行高精度接触式操作的研究，尤其在装配、人机协作等需要柔顺控制的热点场景中具有重要价值，为构建更安全、可靠的自主作业系统奠定了数据基础。