gluepickup3

这是一个关于so101机器人的数据集，包含50个episodes，22454个frames，150个videos，适用于单个task。数据集提供了action、observation.state、多种observation.images以及相关索引信息。数据集的Homepage和Paper信息尚未提供。

原始信息汇总

数据集概述

基本信息

• 数据集名称: gluepickup3
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, so101, tutorial

数据集描述

• 创建工具: 使用 LeRobot 创建
• 主页: 无提供
• 论文: 无提供

数据集结构

• 数据文件格式: Parquet
• 数据文件路径: data/*/*.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 50
• 总帧数: 22454
• 总任务数: 1
• 总视频数: 150
• 总块数: 1
• 块大小: 1000
• 帧率 (FPS): 30
• 数据分割:
  • 训练集: 0:50
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images):
  • 基础图像 (base):
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 视频信息: 高度480, 宽度640, 编码av1, 像素格式yuv420p, 非深度图, 帧率30, 通道3, 无音频
  • 夹爪图像 (gripper):
    • 同基础图像
  • 鸟瞰图像 (bird):
    • 同基础图像
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: 无提供

搜集汇总

数据集介绍

构建方式

在机器人技术领域，gluepickup3数据集通过LeRobot平台精心构建，采用先进的机器人操作记录技术。数据集包含50个完整操作片段，共计22454帧数据，以30帧每秒的速率采集。数据以分块形式存储，每个分块包含1000帧，采用parquet格式高效组织，确保数据的完整性和可访问性。视频数据采用AV1编解码器，分辨率统一为480x640像素，涵盖基础视角、夹持器视角和鸟瞰视角，为多角度分析提供丰富素材。

使用方法

针对机器人学习研究，gluepickup3数据集提供了标准化的使用范式。数据按照训练集划分，可直接通过HuggingFace平台加载。研究者可利用parquet文件中的动作指令和状态观测数据构建强化学习环境，或通过视频流进行视觉表征学习。数据集中的多视角视频支持跨模态分析，时间同步特性便于进行时序建模。对于特定任务，可结合机械臂关节角度和夹持器状态数据，开发精确的控制策略算法。

背景与挑战

背景概述

gluepickup3数据集由LeRobot团队创建，专注于机器人操作任务的研究。该数据集通过记录机械臂执行拾取动作时的多模态数据，包括关节状态、视觉观测和时间戳等信息，为机器人学习领域提供了宝贵的实验资源。数据集包含50个完整操作序列，共计22454帧数据，涵盖6自由度机械臂的精确控制参数和三种视角的同步视频流。其结构化存储格式和丰富的元数据标注，为机器人模仿学习与强化学习算法的开发奠定了数据基础。

当前挑战

该数据集的核心挑战在于解决机器人操作任务中高维连续动作空间与视觉感知的耦合问题。具体而言，机械臂的6自由度控制需要精确协调各关节运动，而多视角视频流的同步采集与标注增加了数据处理的复杂度。在构建过程中，面临传感器数据对齐、大规模视频存储优化以及操作序列分割等工程挑战。如何从异构传感器数据中提取有效特征，并保持时间序列的连贯性，是算法开发面临的主要难题。

常用场景

经典使用场景

在机器人操作领域，gluepickup3数据集为研究多视角视觉反馈与机械臂控制提供了标准化实验平台。该数据集通过记录SO101型机械臂执行物体抓取任务时的关节角度、末端执行器状态及三路摄像头（基座、夹爪、俯视视角）视频流，为模仿学习算法提供了丰富的多模态训练数据。研究人员可基于该数据集构建从视觉感知到动作生成的端到端管道，验证不同控制策略在真实物理环境中的表现。

解决学术问题

该数据集有效解决了机器人操作研究中样本采集成本高、多模态数据同步困难等核心问题。其包含的22454帧精确时间对齐的传感器数据，支持学术界探索视觉-动作关联建模、跨视角特征融合等关键课题。通过Apache 2.0许可证开放的高质量真实世界操作数据，显著降低了机器人学习研究的入门门槛，为验证模仿学习、强化学习等算法提供了基准测试环境。

实际应用

在工业自动化场景中，gluepickup3数据集可直接用于训练智能分拣系统的视觉伺服控制模块。数据集包含的夹爪视角视频与六维关节动作数据，能够支持开发基于深度学习的抓取姿态预测算法。物流仓储企业可借鉴该数据集的采集规范，构建适应特定包装规格的自动化分拣系统训练数据，提升纸箱拆垛等任务的执行精度。

数据集最近研究

最新研究方向

在机器人操作领域，gluepickup3数据集因其多视角视觉数据和精确的机械臂动作记录而备受关注。该数据集通过整合基础视角、夹爪视角和鸟瞰视角的三路视频流，为机器人抓取策略的研究提供了丰富的视觉上下文信息。近期研究聚焦于利用该数据集训练端到端的深度强化学习模型，探索在复杂场景下机械臂的自主抓取能力。同时，结合其高精度关节角度数据，研究人员正在开发新型模仿学习算法，以提升机器人对物体形状和材质的适应性。这一方向与当前机器人领域追求通用化操作能力的趋势高度契合，为工业自动化和家庭服务机器人的发展提供了重要数据支撑。