green_cube

该数据集使用LeRobot创建，包含机器人运动和观察相关的数据。数据集结构包括动作、观察状态、时间戳和索引等特征，具体涉及机器人关节位置（如肩部、肘部、腕部等）和顶部摄像头图像。数据以parquet文件格式存储，视频文件格式为mp4。数据集包含5个episodes，5714帧，帧率为20fps。

原始信息汇总

数据集概述

基本信息

• 数据集名称: green_cube
• 托管平台: Hugging Face
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集规模

• 总情节数: 5
• 总帧数: 5714
• 总任务数: 1
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 20 FPS

数据结构与格式

• 数据存储格式: Parquet 文件
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据分块大小: 1000
• 数据集划分: 全部数据（索引0至5）用于训练

数据特征

数据集包含以下特征字段：

动作空间

• 特征名: action
• 数据类型: float32
• 形状: [6]
• 描述: 代表6个关节的位置指令，具体为：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

状态观测

• 特征名: observation.state
• 数据类型: float32
• 形状: [6]
• 描述: 代表6个关节的当前位置状态，具体为：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

• 特征名: observation.images.top
• 数据类型: video
• 形状: [480, 640, 3] (高度，宽度，通道数)
• 视频信息:
  • 视频高度: 480 像素
  • 视频宽度: 640 像素
  • 视频编码: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 20 FPS
  • 通道数: 3
  • 是否包含音频: 否

元数据索引

• timestamp: 时间戳 (float32, 形状 [1])
• frame_index: 帧索引 (int64, 形状 [1])
• episode_index: 情节索引 (int64, 形状 [1])
• index: 全局索引 (int64, 形状 [1])
• task_index: 任务索引 (int64, 形状 [1])

代码库版本

• LeRobot 版本: v3.0
• 机器人类型: so_follower

引用信息

• 论文: 未提供
• 主页: 未提供
• BibTeX 引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人学领域，高质量的数据集对于推动模仿学习与强化学习算法的进展至关重要。green_cube数据集依托LeRobot平台构建，通过记录so_follower型机器人在执行单一任务过程中的多模态交互数据。该数据集以20帧每秒的速率采集了5个完整交互片段，共计5714帧数据，并以分块存储的Parquet格式组织，每块约1000帧，确保了数据的高效读取与处理。视频数据采用AV1编码，分辨率达640x480，与机器人的六维关节状态及时间戳信息同步存储，形成了结构化的时空对齐记录。

特点

该数据集的核心特征在于其精心设计的多元数据表征体系。它不仅包含了机器人六个关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪）的位置状态作为观测与动作空间，还提供了顶置摄像头的RGB视觉流，实现了状态感知与视觉环境的深度融合。数据以分块形式管理，总规模约300MB，兼顾了存储效率与访问性能。所有字段均具有明确的形状、数据类型与语义标签，这种清晰的结构化为机器人行为克隆、轨迹预测等任务提供了可直接使用的标准化输入。

使用方法

为便于研究者利用该数据集进行算法开发与验证，数据已预分割为训练集，涵盖全部5个交互片段。用户可通过HuggingFace数据集库或LeRobot工具链加载，依据提供的路径模板访问Parquet数据文件及对应的MP4视频。每个数据点包含同步的时间戳、帧索引与情景索引，支持按情景或时间窗口进行切片分析。典型的应用流程包括：读取指定块的文件，解析动作、观测状态及图像序列，进而用于训练端到端的策略模型或进行离线强化学习分析，其标准化格式确保了与主流机器人学习框架的无缝集成。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究依赖于高质量、结构化的真实世界交互数据。green_cube数据集由HuggingFace的LeRobot项目创建，旨在为机器人操作任务提供可复现的基准数据。该数据集聚焦于机械臂的轨迹控制与视觉感知，记录了六自由度机械臂在特定任务中的关节位置、状态观测及顶部摄像头图像，其结构化特征设计体现了对机器人状态-动作对序列化记录的严谨性。尽管具体创建时间与核心作者信息尚未公开，但其基于Apache 2.0协议开放，为社区提供了机器人技能学习的实证基础，有望推动机器人控制算法的泛化能力研究。

当前挑战

green_cube数据集所针对的机器人操作任务，核心挑战在于如何从高维视觉与状态观测中学习精确且鲁棒的控制策略。机械臂的连续动作空间与复杂动力学特性，要求模型能够处理时序依赖并克服现实环境中的传感器噪声与校准误差。在数据集构建层面，挑战主要体现在多模态数据的同步与对齐，需确保关节位置、图像帧与时间戳的一致性；同时，数据规模有限，仅包含5个 episodes 和5714帧，可能制约模型的泛化性能。此外，视频编码与大规模存储优化也是工程实现中的关键难题。

常用场景

经典使用场景

在机器人学习领域，green_cube数据集以其丰富的多模态数据为机器人模仿学习提供了典型范例。该数据集记录了机械臂执行任务时的关节状态、视觉观察及动作序列，常用于训练端到端的机器人控制策略。研究者利用其序列化的状态-动作对，能够构建深度强化学习或行为克隆模型，使机器人学习从视觉输入到关节运动的映射关系，实现精准的任务执行。

实际应用

在实际机器人部署中，green_cube数据集可直接应用于工业自动化或服务机器人的技能传授。例如，在装配线上，机械臂可通过学习该数据集中的抓取与放置演示，自主完成物体搬运操作。其包含的顶部摄像头视角为视觉伺服控制提供了可靠输入，使得机器人能在动态环境中实时调整动作，提升操作精度与鲁棒性。

衍生相关工作

围绕green_cube数据集，已衍生出多项机器人学习领域的经典研究。基于其多模态特性，学者们开发了结合视觉Transformer与强化学习的架构，用于改进动作预测的准确性。此外，该数据集常被用作基准测试工具，评估不同模仿学习算法在连续控制任务上的性能，促进了开源机器人学习框架如LeRobot的生态发展。