brush

该数据集是一个机器人技术相关数据集，使用LeRobot创建。包含22个episodes，总计12757帧数据。数据集包含6维的动作和状态数据，以及前视图像观测（分辨率为480x640，帧率为30fps）。数据以parquet格式存储，并包含视频文件。

This is a robotics-related dataset created using LeRobot. It contains 22 episodes with a total of 12757 frames of data. The dataset includes 6-dimensional action and state data, as well as front-view image observations with a resolution of 480x640 and a frame rate of 30fps. The data is stored in Parquet format and also includes video files.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总集数: 22
• 总帧数: 12757
• 总任务数: 1
• 总视频数: 22
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:22)

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. 动作

   • 数据类型: float32
   • 形状: [6]
   • 名称:
     • shoulder_pan.pos
     • shoulder_lift.pos
     • elbow_flex.pos
     • wrist_flex.pos
     • wrist_roll.pos
     • gripper.pos

2. 观测状态

   • 数据类型: float32
   • 形状: [6]
   • 名称: 同动作特征

3. 观测图像（正面）

   • 数据类型: video
   • 形状: [480, 640, 3]
   • 名称: height, width, channels
   • 视频信息:
     • 高度: 480
     • 宽度: 640
     • 编解码器: av1
     • 像素格式: yuv420p
     • 是否为深度图: false
     • 帧率: 30 fps
     • 通道数: 3
     • 是否有音频: false

4. 其他特征

   • 时间戳: float32, 形状 [1]
   • 帧索引: int64, 形状 [1]
   • 集索引: int64, 形状 [1]
   • 索引: int64, 形状 [1]
   • 任务索引: int64, 形状 [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于模型训练至关重要。Brush数据集依托LeRobot平台构建，通过记录SO101型跟随机器人在执行任务过程中的多模态数据而成。该数据集包含22个完整任务片段，总计12757帧数据，以30帧每秒的速率采集。数据以Parquet格式存储，并辅以MP4格式的视频记录，确保了信息的完整性与可追溯性。每个数据片段均包含机器人的关节位置、观测状态及前视图像，结构清晰且便于后续处理与分析。

特点

Brush数据集在机器人学习领域展现出鲜明的技术特色。其核心在于提供了六维动作空间与同等维度的观测状态，涵盖了肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置等关键关节参数。前视图像以480x640分辨率的三通道视频形式呈现，编码格式为AV1，确保了视觉信息的丰富性与压缩效率。数据集采用分块存储策略，支持大规模数据的流畅访问，所有特征均标注明确的数据类型与形状，为算法开发提供了坚实的结构化基础。

使用方法

针对机器人控制与模仿学习的研究需求，Brush数据集提供了便捷的使用途径。研究者可通过加载Parquet文件直接获取动作、观测状态及时间戳等序列数据，同时配合视频文件进行视觉验证与分析。数据集已预分为训练集，涵盖全部22个任务片段，支持端到端的策略学习或行为克隆模型训练。利用LeRobot框架，用户能够轻松实现数据读取、预处理及模型集成，加速机器人技能学习的迭代过程，推动实际应用场景中的算法验证与性能提升。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。Brush数据集由Hugging Face的LeRobot项目团队创建，旨在为机器人操作任务提供结构化的演示数据。该数据集聚焦于机械臂的轨迹控制问题，记录了六自由度机械臂执行特定任务时的状态观测、动作序列及视觉信息，为研究端到端的机器人策略学习提供了宝贵的实证基础。其采用Apache 2.0开源协议，体现了开放科学的精神，有助于加速社区在机器人泛化能力与样本效率方面的探索。

当前挑战

Brush数据集致力于解决机器人模仿学习中从演示数据到可泛化策略的映射挑战，其核心在于如何从有限的高维观测中提取鲁棒的特征表示，并克服现实场景中的动态不确定性。在构建过程中，数据采集面临诸多困难，包括机械臂控制指令与视觉观测的精确同步、多模态数据的高效存储与检索，以及任务演示的多样性与一致性之间的平衡。此外，数据规模相对有限，仅包含22个完整片段，这为训练复杂模型带来了样本稀缺的挑战，要求算法具备更强的数据利用能力与泛化性能。

常用场景

经典使用场景

在机器人学习领域，brush数据集以其丰富的多模态数据为机器人模仿学习提供了典型范例。该数据集记录了机械臂执行特定任务时的关节位置、视觉观察及时间序列信息，使得研究者能够基于真实世界交互数据训练端到端的控制策略。通过整合状态观测与前端摄像头图像，该数据集常用于开发从视觉输入到动作映射的深度强化学习模型，为机器人自主执行精细操作任务奠定数据基础。

实际应用

在实际机器人部署场景中，brush数据集能够直接服务于家庭服务或工业装配等领域的自动化系统开发。基于该数据集训练的模型可赋能机械臂学习诸如物体抓取、精密装配等复杂技能，减少对人工示教的依赖。其包含的关节位置与视觉信息使得系统能够在动态环境中实现自适应操作，为开发智能、灵巧的机器人助手提供了可靠的数据支撑。

衍生相关工作

围绕brush数据集，学术界已衍生出一系列聚焦于机器人模仿学习与视觉运动控制的经典研究。这些工作通常利用该数据集的多模态特性，探索如何从演示数据中提取有效的策略表示，或开发能够处理部分可观测问题的序列模型。相关成果进一步推动了行为克隆、逆强化学习等方法的创新，并在机器人学习社区中激发了关于数据高效利用与跨任务迁移的持续讨论。