il_gym

该数据集是一个机器人学数据集，由LeRobot创建。它包含了12个剧集，共计9217帧，专注于一个任务。数据集以.parquet文件格式存储，并提供了对应的视频文件。数据集的特征包括机器人的动作、状态、正面和手腕的图像信息等。数据集的帧率为30fps，并且按照训练集进行划分。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

规模统计

• 总情节数: 12
• 总帧数: 9217
• 总任务数: 1
• 数据分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (0:12)

数据特征

动作特征

• 数据类型: float32
• 维度: [9]
• 特征名称:
  • arm_shoulder_pan.pos
  • arm_shoulder_lift.pos
  • arm_elbow_flex.pos
  • arm_wrist_flex.pos
  • arm_wrist_roll.pos
  • arm_gripper.pos
  • x.vel
  • y.vel
  • theta.vel

观测状态

• 数据类型: float32
• 维度: [9]
• 特征名称: 与动作特征相同

图像观测

前视摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

腕部摄像头:

• 数据类型: 视频
• 分辨率: 640×480×3
• 视频编码: av1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 情节索引: int64 [1]
• 索引: int64 [1]
• 任务索引: int64 [1]

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• 主页: 待补充
• 论文: 待补充
• BibTeX引用: 待补充

搜集汇总

数据集介绍

构建方式

在机器人学习领域，il_gym数据集通过LeRobot框架系统性地采集了真实环境中的交互数据。该数据集包含12个完整任务片段，总计9217帧观测记录，以30帧/秒的速率捕捉机械臂运动轨迹。数据以分块形式存储于Parquet文件中，每块容量为1000帧，同时配套存储500MB的视频资料，完整记录了前视与腕部视角的视觉信息。

特点

该数据集最显著的特点是融合了多模态观测信息，既包含9维关节位置与速度的精确数值记录，又整合了双视角视觉数据。前视摄像头以480×640分辨率捕捉环境全景，腕部摄像头则以640×480特写机械臂操作细节。所有视频均采用AV1编码压缩，在保持视觉保真度的同时优化存储效率。数据维度涵盖时空索引、任务标识等元数据，为模仿学习研究提供结构化支持。

使用方法

研究者可通过解析Parquet数据文件直接获取数值化观测与动作序列，配合MP4视频文件实现行为复现与分析。数据集采用标准化的特征命名规范，动作空间包含肩部平移、肘部屈伸等6个关节控制量及3维末端速度指令。训练时可按分块索引加载数据，利用时间戳与帧索引重建完整任务轨迹，适用于行为克隆、强化学习等算法验证。

背景与挑战

背景概述

在机器人学习领域，il_gym数据集作为LeRobot框架的产物，聚焦于强化学习与模仿学习的交叉研究。该数据集通过记录机械臂的多模态交互数据，包括关节位置、速度控制及视觉感知信息，旨在解决复杂环境下机器人动作策略的泛化问题。其构建体现了HuggingFace社区对开源机器人数据的标准化探索，通过结构化存储9217帧操作序列，为模仿学习算法提供了高维状态-动作对的基准测试平台。

当前挑战

该数据集核心挑战在于解决高自由度机械臂的精细操作任务，需从多视角视频流与连续控制信号中提取可泛化的动作表征。构建过程中面临多传感器时序对齐的复杂性，包括前视与腕部相机数据的空间校准，以及9维动作空间与状态观测的同步记录。此外，小规模样本（仅12条轨迹）对模型泛化能力提出严峻考验，需克服数据稀疏性带来的过拟合风险。

常用场景

经典使用场景

在机器人学习领域，il_gym数据集通过记录机械臂执行任务时的多模态数据，为模仿学习算法提供了丰富的训练素材。该数据集包含12个完整任务片段，涵盖关节位置、速度控制以及双视角视觉信息，特别适用于研究从演示中学习策略的算法验证。研究者可利用其结构化的动作序列和观测数据，开发能够理解复杂操作任务的智能体。

实际应用

在实际工业场景中，il_gym数据集支撑了自动化装配与精密操作系统的开发。基于该数据集训练的模型可应用于物料分拣、零件组装等流水线作业，通过模仿人类操作员的动作模式，实现机械臂的精准控制。其包含的腕部与正面双视角视觉数据，为复杂环境下的物体抓取与姿态调整提供了重要参考。

衍生相关工作

围绕il_gym数据集已衍生出多项重要研究，特别是在端到端模仿学习框架的构建方面。基于该数据集的基准测试推动了时空特征提取网络的发展，许多工作专注于融合视觉信息与运动规划的方法创新。这些研究不仅完善了多模态数据处理流程，还为机器人技能迁移学习奠定了理论基础。