il_gym0

这是一个关于机器人任务的数据集，包含30个 episodes，总共1252帧，分为1个任务。数据集以Parquet格式存储，并提供了对应的视频文件。每个episode包含18个状态的观察值、4个动作、1个奖励和1个是否完成的标记。此外，还有额外的离散惩罚信息。数据集中的视频是每秒10帧，没有音频。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 总任务数: 1
• 总视频数: 60
• 总帧数: 1252
• 总片段数: 1
• 片段大小: 1000
• 帧率: 10 fps
• 训练集分割: 0:30

数据特征

• observation.state:
  • 数据类型: float32
  • 形状: [18]
• action:
  • 数据类型: float32
  • 形状: [4]
  • 名称: delta_x_ee, delta_y_ee, delta_z_ee, gripper_delta
• next.reward:
  • 数据类型: float32
  • 形状: [1]
• next.done:
  • 数据类型: bool
  • 形状: [1]
• complementary_info.discrete_penalty:
  • 数据类型: float32
  • 形状: [1]
  • 名称: discrete_penalty
• observation.images.front:
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 名称: channels, height, width
  • 视频信息:
    • 高度: 128
    • 宽度: 128
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 10 fps
    • 通道数: 3
    • 是否有音频: false
• observation.images.wrist:
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 名称: channels, height, width
  • 视频信息:
    • 高度: 128
    • 宽度: 128
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 10 fps
    • 通道数: 3
    • 是否有音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

il_gym0数据集依托LeRobot框架构建，采用模块化数据采集策略，通过机器人交互式学习环境获取多模态数据。技术实现上，数据集以10fps的采样频率记录30个完整任务片段，每个片段包含1252帧结构化数据，并以Parquet格式分块存储。数据采集过程同步捕获18维状态观测值、4维机械臂动作指令及双视角视觉信息，通过时间戳和帧索引确保时序一致性。

特点

该数据集在机器人学习领域展现出鲜明的多维特征融合优势。其核心价值在于整合了机械臂末端执行器的三维空间坐标与夹持器状态，配合128×128分辨率的双视角RGB视频流。数据架构采用层次化设计，包含原始观测、动作指令、即时奖励及终止标志等关键字段，并通过离散惩罚系数增强强化学习信号。特别值得注意的是，所有视觉数据均采用AV1编解码技术压缩，在保证质量的同时显著降低存储需求。

使用方法

研究人员可通过解析Parquet文件直接访问结构化数据流，其中数据路径遵循'chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet'的命名规范。视觉数据存储在独立视频目录，支持通过帧索引与状态数据精确对齐。典型应用场景包括模仿学习算法验证、策略蒸馏模型训练等，利用数据集中包含的完整状态-动作-奖励三元组，可构建端到端的机器人控制策略学习管道。

背景与挑战

背景概述

il_gym0数据集由LeRobot团队开发，专注于机器人技术领域的研究与应用。该数据集通过Apache 2.0许可发布，旨在为机器人学习和控制任务提供高质量的实验数据。数据集包含30个完整的情节，共计1252帧数据，涵盖了机器人状态观测、动作执行及奖励反馈等多维度信息。其核心研究问题聚焦于如何通过强化学习或模仿学习优化机器人的动作策略，从而提升任务执行的效率和准确性。尽管数据集的具体创建时间和主要研究人员尚未公开，但其结构化的数据格式和丰富的特征维度为机器人学习算法的验证与改进提供了重要支持。

当前挑战

il_gym0数据集面临的挑战主要体现在两个方面：其一，在领域问题层面，机器人动作策略的泛化能力与实时性要求对数据质量提出了极高标准，如何从有限的情节中提取具有代表性的模式成为关键难题；其二，在数据构建过程中，多模态数据的同步采集与标注（如视频流与机器人状态的精确匹配）需要复杂的技术支持，且数据规模的扩展可能受到硬件设备和实验环境的制约。此外，数据集中任务类型的单一性也可能限制算法在多样化场景中的适用性。

常用场景

经典使用场景

在机器人控制与强化学习领域，il_gym0数据集以其多模态观测数据（包括机械臂状态、视觉图像和动作指令）成为算法验证的基准平台。研究者通过调用其包含的30个完整任务序列和1252帧时序数据，能够复现端到端策略训练过程，特别适合验证模仿学习框架在机械臂抓取任务中的泛化能力。数据集提供的双视角视觉输入（前视与腕部摄像头）与18维状态向量，为构建状态-动作映射关系提供了丰富的特征空间。

解决学术问题

该数据集有效解决了机器人控制研究中样本效率低下的核心问题。通过标准化格式记录的连续动作空间（4维Delta末端位移）与离散惩罚信号，研究者可量化评估不同强化学习算法在稀疏奖励环境下的探索效率。其包含的机械臂运动轨迹数据填补了学术界对多模态观测联合建模的理论空白，尤其在视觉-动作协同预测、时序决策链优化等方向具有方法论意义。

衍生相关工作

基于该数据集衍生的研究已推动多个里程碑式成果，包括LeRobot团队开发的混合模仿学习框架。其视频编码特征被用于验证视觉Transformer在运动预测中的有效性，而连续动作空间数据则支撑了基于扩散模型的策略生成方法。后续工作进一步扩展了数据集的边界，如通过迁移学习将预训练策略应用于医疗机器人精细操作任务。