black

该数据集由LeRobot创建，采用Apache-2.0许可协议。数据集结构包含parquet格式的数据文件和视频文件。元数据文件（meta/info.json）详细记录了数据集版本（v3.0）、机器人类型（so_follower）、总情节数（100）、总帧数（20159）、任务数（1）、块大小（1000）、数据文件大小（100MB）、视频文件大小（200MB）、帧率（30fps）以及训练集划分（0:100）。数据路径和视频路径分别指定了数据文件的存储位置。特征部分包括动作（6个浮点型关节位置）、观测状态（6个浮点型关节位置）、前视和顶视图像（480x640x3的视频数据）、时间戳、帧索引、情节索引、索引和任务索引。数据集适用于机器人相关任务，但目前缺少主页、论文和引用信息。

原始信息汇总

数据集概述

基本信息

• 数据集名称: black
• 发布者: plzsay
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集规模

• 总情节数: 100
• 总帧数: 20159
• 总任务数: 1
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 数据块大小: 1000
• 代码库版本: v3.0
• 机器人类型: so_follower

数据划分

• 训练集: 包含全部100个情节 (索引范围: 0:100)

数据结构与特征

数据以Parquet文件格式存储，路径模式为：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。 视频以MP4文件格式存储，路径模式为：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

特征字段说明

1. 动作

   • 数据类型: float32
   • 形状: [6]
   • 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

2. 观测状态

   • 数据类型: float32
   • 形状: [6]
   • 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

3. 观测图像 - 前视

   • 数据类型: video
   • 形状: [480, 640, 3] (高度，宽度，通道)
   • 视频信息:
     • 编码格式: av1
     • 像素格式: yuv420p
     • 非深度图
     • 帧率: 30 FPS
     • 通道数: 3
     • 无音频

4. 观测图像 - 顶视

   • 数据类型: video
   • 形状: [480, 640, 3] (高度，宽度，通道)
   • 视频信息:
     • 编码格式: av1
     • 像素格式: yuv420p
     • 非深度图
     • 帧率: 30 FPS
     • 通道数: 3
     • 无音频

5. 时间戳

   • 数据类型: float32
   • 形状: [1]

6. 帧索引

   • 数据类型: int64
   • 形状: [1]

7. 情节索引

   • 数据类型: int64
   • 形状: [1]

8. 索引

   • 数据类型: int64
   • 形状: [1]

9. 任务索引

   • 数据类型: int64
   • 形状: [1]

补充信息

• 主页: 信息缺失
• 论文: 信息缺失
• 引用信息 (BibTeX): 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建往往依赖于真实世界的交互记录。black数据集通过LeRobot平台精心采集，涵盖了100个完整的任务执行片段，总计超过两万帧数据。这些数据以Parquet格式存储，并辅以同步的视频文件，确保了动作与观测信息的高效对齐。数据采集过程中，机器人关节状态与多视角视觉信息被同步记录，形成了结构化的序列，为后续的模型训练提供了坚实的底层支持。

特点

该数据集的核心特征在于其多维度的观测空间与精细的动作标注。观测部分不仅包含六自由度机械臂的关节位置状态，还整合了来自前视与顶视摄像头的RGB视频流，分辨率达到640x480，帧率为30fps。动作空间同样以六维浮点向量表示，直接对应机械臂各关节的目标位置。这种设计使得数据集能够支持从状态预测到视觉运动策略学习的多种机器人任务，数据集的规模与质量均能满足复杂模型的训练需求。

使用方法

利用black数据集进行机器人学习研究，通常涉及加载其Parquet格式的数据文件与对应的MP4视频。研究者可以依据帧索引、片段索引等元数据，灵活地划分训练序列。该数据集天然适用于模仿学习或强化学习算法的训练，其中观测图像与关节状态可作为模型输入，而标注的动作则作为监督信号。通过LeRobot提供的工具链，用户可以便捷地实现数据流的读取与预处理，进而构建端到端的机器人控制模型。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。black数据集依托LeRobot开源框架构建，专注于机器人操作任务的数据采集，其核心研究问题在于如何通过多模态观测数据（如关节状态与视觉图像）来训练机器人执行复杂的跟随任务。该数据集由HuggingFace社区贡献，采用Apache 2.0许可协议，旨在为机器人控制研究提供标准化、可复现的数据资源，促进算法在真实环境中的泛化能力与鲁棒性提升。

当前挑战

black数据集致力于解决机器人模仿学习中的动作预测与状态估计挑战，特别是在动态环境中实现精准的机械臂轨迹跟随。构建过程中的挑战包括多传感器数据的高效同步与对齐，确保关节位置、视觉视频与时间戳信息的一致性；同时，大规模视频数据的存储与处理对计算资源提出较高要求，需平衡数据质量与存储开销。此外，数据采集涉及复杂的硬件集成与标定，以保障观测数据的准确性与可靠性，为后续算法训练奠定坚实基础。

常用场景

经典使用场景

在机器人学习领域，black数据集以其多模态数据特性，为模仿学习与强化学习算法提供了经典的应用场景。该数据集包含来自so_follower机器人的关节状态、图像观测及动作序列，常用于训练端到端的机器人控制策略。研究者利用其丰富的视觉与状态信息，模拟机器人跟随任务，评估算法在复杂环境中的泛化能力与鲁棒性，为机器人自主行为学习奠定了数据基础。

解决学术问题

black数据集有效解决了机器人学中模仿学习的数据稀缺与多模态对齐问题。通过提供同步的关节位置、视觉观测与动作标签，该数据集支持研究者在无需真实机器人部署的情况下，探索状态-动作映射的建模方法。其结构化数据格式促进了算法在跨模态特征融合、时序决策建模等方面的进展，降低了机器人技能学习的实验门槛，推动了数据驱动机器人控制的理论创新。

衍生相关工作

围绕black数据集，学术界衍生了一系列经典研究工作，主要集中在机器人模仿学习与视觉运动控制领域。例如，基于该数据集的端到端策略网络架构研究，探索了多传感器数据融合的有效方法；同时，其数据格式与LeRobot平台的集成，促进了开源机器人学习框架的标准化发展。这些工作不仅拓展了数据集的适用范围，也为后续大规模机器人数据集的构建提供了参考范式。