record-gab-cookie-demo

该数据集由LeRobot创建，主要用于机器人领域研究。数据集包含31个episodes，共计26354帧数据，存储格式为parquet。视频数据分辨率为1080x1920，帧率为30fps。数据集包含多种特征：机器人动作（6个关节位置）、状态观测（6个关节位置）、前视图像（视频格式）、时间戳、帧索引、episode索引等。数据总大小为100MB（数据文件）和200MB（视频文件）。

原始信息汇总

数据集概述

基本信息

• 数据集名称: record-gab-cookie-demo
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 相关标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集规模与结构

• 总情节数: 31
• 总帧数: 26354
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (train) 包含所有31个情节
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测图像（前视）

• 数据类型: 视频
• 形状: [1080, 1920, 3]
• 维度名称: 高度, 宽度, 通道数
• 视频信息:
  • 高度: 1080 像素
  • 宽度: 1920 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 30 FPS
  • 通道数: 3
  • 包含音频: 否

元数据

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 情节索引: int64, 形状 [1]
• 索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集对于算法训练至关重要。record-gab-cookie-demo数据集依托LeRobot平台构建，通过记录SO101型跟随机器人在实际环境中的操作轨迹生成。数据采集过程以30帧每秒的速率同步捕获机器人的关节状态与前端视觉信息，涵盖31个完整任务片段，总计26354帧数据。原始数据经过结构化处理，被分割为以Parquet格式存储的数据块，每块约1000帧，确保了数据的高效存取与处理。

特点

该数据集在机器人控制与感知研究中展现出显著特色。其核心在于提供了多模态同步数据流，包括六维关节位置的动作指令、对应的状态观测以及高分辨率的前端RGB视频。视频数据以1080p分辨率保存，采用AV1编码，兼顾了视觉质量与存储效率。数据结构设计严谨，通过时间戳、帧索引与任务索引等元数据实现了精确的时序对齐，为端到端的模仿学习或强化学习算法提供了层次分明、信息完整的训练素材。

使用方法

为便于研究者利用该数据集进行模型开发，数据以标准化的分块Parquet文件形式组织，并配有详细的元数据描述。使用者可通过解析meta/info.json文件了解数据结构，并依据指定的路径模式加载相应的数据块与视频文件。数据集适用于机器人策略学习、视觉运动控制等任务，研究者可提取观测图像与对应动作作为训练样本，利用时序索引构建连续决策序列。其统一的格式也便于集成到基于PyTorch或TensorFlow的现有训练流程中。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究依赖于高质量、结构化的真实世界交互数据集。record-gab-cookie-demo数据集由LeRobot项目创建，旨在为机器人操作任务提供示范轨迹数据。该数据集聚焦于机械臂控制，具体涉及so101_follower型机器人，包含31个完整交互片段，总计超过26000帧图像与状态数据，记录了关节位置、前视图像及时间戳等多模态信息。其构建依托开源框架，体现了社区推动机器人数据标准化与共享的努力，为算法验证与模型训练提供了宝贵资源。

当前挑战

该数据集致力于解决机器人模仿学习中的示范数据稀缺问题，其核心挑战在于如何从有限的人类操作示范中泛化出鲁棒的控制策略。具体而言，数据采集过程需确保动作指令与视觉观测的高精度同步，并克服传感器噪声与机械延迟带来的时序对齐困难。此外，数据规模相对有限，涵盖的任务单一，可能制约模型在多样化场景下的适应能力。构建过程中还需处理大规模视频流与状态数据的高效存储与索引，以实现快速读取与分布式训练支持。

常用场景

经典使用场景

在机器人学习领域，record-gab-cookie-demo数据集为模仿学习与强化学习算法的验证提供了关键支持。该数据集通过记录机械臂在特定任务中的关节位置、图像观测与时间戳，构建了完整的动作-状态序列，使得研究人员能够基于真实世界交互数据训练策略模型，评估算法在复杂环境中的泛化能力与鲁棒性。

实际应用

在实际机器人部署中，该数据集可直接用于服务型机械臂的抓取与放置任务训练。例如，在工业分拣或家庭辅助场景下，基于数据集的预训练模型能够快速适应新物体或环境变化，提升任务执行的准确性与安全性，降低现场调试成本，推动自动化系统向更智能、柔性的方向发展。

衍生相关工作

围绕该数据集，学术界衍生出多项经典研究，包括基于视觉的逆强化学习框架、多任务策略迁移方法以及时序预测模型的优化。这些工作不仅扩展了数据集的利用维度，还推动了机器人学习在稀疏奖励设置、层次化控制等前沿方向的探索，为后续大规模机器人数据集的构建与标准化奠定了基础。