glue1

该数据集是一个机器人学习数据集，包含50个 episodes，共16439个frames，150个videos。数据集包含一个任务，数据以Parquet文件格式存储，并包含视频文件。数据集的特征包括机器人的动作、状态、以及不同视角的图像信息。所有视频的帧率为30fps，没有音频。

原始信息汇总

数据集概述

基本信息

• 名称: glue1
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot, so101, tutorial
• 创建工具: LeRobot

数据集结构

• 数据文件格式: Parquet
• 配置名称: default
• 数据文件路径: data/*/*.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 50
• 总帧数: 16439
• 总任务数: 1
• 总视频数: 150
• 总块数: 1
• 块大小: 1000
• 帧率 (FPS): 30
• 数据分割:
  • 训练集: 0:50

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测图像 (observation.images):
  • 基础图像 (base), 夹爪图像 (gripper), 鸟瞰图像 (bird):
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 名称: height, width, channels
    • 视频信息:
      • 高度: 480
      • 宽度: 640
      • 编解码器: av1
      • 像素格式: yuv420p
      • 是否为深度图: false
      • 帧率: 30
      • 通道数: 3
      • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务的数据采集与处理。通过记录so101型机器人在执行任务过程中的动作、状态及多视角图像数据，数据集以50个完整操作序列为核心，包含16439帧时序数据。数据采用分块存储策略，每个数据块包含1000帧，并以30fps的帧率同步保存动作指令与三路高清视频流（基座视角、夹爪视角及鸟瞰视角），所有数据均以标准化parquet格式封装。

使用方法

使用该数据集时，可通过解析meta/info.json获取完整数据架构说明。典型应用场景包括加载指定分块的parquet文件获取动作-观测对，或根据video_path索引调用对应MP4视频进行行为分析。数据字段命名遵循机器人学标准规范，如main_shoulder_pan等关节角度命名可直接映射到控制接口。研究者可利用帧索引实现跨模态数据关联，或基于episode_index重构完整任务流程，适用于深度强化学习、行为克隆等算法的训练与验证。

背景与挑战

背景概述

glue1数据集是机器人领域的重要数据资源，由LeRobot团队基于so101机器人平台构建。该数据集以Apache-2.0协议开源，包含50个完整任务片段、16439帧多视角视觉数据及6自由度机械臂动作记录，主要服务于机器人控制与视觉感知的联合研究。其多模态数据结构涵盖基础视角、夹爪视角和鸟瞰视角的三通道视频流，配合精确的时间戳和关节状态标注，为模仿学习与强化学习算法提供了高质量的基准测试环境。

当前挑战

该数据集面临的核心挑战体现在算法开发与数据质量两个维度。在算法层面，如何有效融合多视角视觉信息与高维连续动作空间，解决机械臂控制中的部分可观测性问题构成主要难点。数据构建过程中，同步采集480p三路视频流与6自由度关节数据对硬件同步精度提出严苛要求，而大规模视频数据的AV1编码存储与高效检索也带来工程实现复杂度。此外，当前50个任务片段的规模可能限制了对复杂操作任务的表征能力，需进一步扩展任务多样性以提升基准的泛化性。

常用场景

经典使用场景

在机器人控制领域，glue1数据集以其丰富的多模态数据为特色，成为研究机器人动作规划与环境交互的重要资源。该数据集通过记录机械臂的关节角度、末端执行器状态以及多视角视觉信息，为研究者提供了模拟真实操作场景的完整数据流。经典使用场景包括训练端到端的机器人控制模型，其中模型需要根据视觉输入预测合理的动作序列，这在抓取、装配等任务中具有重要价值。

解决学术问题

glue1数据集有效解决了机器人学习中的模仿学习与强化学习的数据需求问题。传统方法往往受限于真实机器人实验的高成本与低效率，而该数据集提供的海量操作记录与同步视觉数据，使研究者能够在不依赖实体机器人的情况下开展算法验证。特别在跨模态表征学习方面，数据集中的动作-状态-视觉对应关系为研究传感器融合、时序动作预测等关键问题提供了可靠基准。

实际应用

该数据集在工业自动化领域展现出显著应用潜力。基于glue1训练的模型可直接迁移至分拣、包装等流水线作业场景，其多视角视觉数据能有效应对复杂环境下的目标定位问题。在医疗机器人领域，数据集提供的精细动作记录为手术辅助机械臂的轨迹规划算法开发提供了重要参考，降低了实际医疗场景中的算法验证风险。

数据集最近研究

最新研究方向

在机器人学习领域，glue1数据集以其多维度的动作捕捉和丰富的视觉观测数据，为机器人控制算法的研究提供了重要支持。该数据集包含50个完整任务序列，涵盖16439帧高精度机械臂运动数据，结合了基础视角、夹爪视角和鸟瞰视角的三重视频记录，为模仿学习和强化学习算法提供了多模态训练素材。近期研究聚焦于如何利用其6自由度机械臂动作空间和同步视觉反馈，开发能够处理复杂操作任务的新型神经网络架构。特别是在元学习和跨任务迁移方面，该数据集的结构化存储方式和精确时间对齐特性，为研究长期依赖关系和动作序列预测提供了理想实验平台。随着LeRobot开源生态的完善，该数据集正被广泛应用于机器人技能泛化、多模态表征学习等前沿方向。