gym_hil_microwave_test

该数据集由LeRobot创建，采用apache-2.0许可证，属于机器人技术领域。数据集包含10个episodes，774帧，1个任务，数据文件大小为100MB，视频文件大小为200MB。数据以parquet格式存储，视频以mp4格式存储，帧率为10fps。数据集仅包含训练集。特征包括动作（delta_x, delta_y, delta_z, gripper）、下一状态奖励、完成标志、离散惩罚、前视和腕部图像观察（128x128像素，3通道）、状态观察（18维）、时间戳、帧索引、episode索引、索引和任务索引。适用于机器人控制和强化学习任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: gym_hil_microwave_test
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 10
• 总帧数: 774
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 10 FPS
• 数据分割: 训练集 (0:10)

数据文件路径

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 名称: action
• 数据类型: float32
• 形状: [4]
• 维度名称: ["delta_x", "delta_y", "delta_z", "gripper"]

下一状态

• 名称: next.reward

• 数据类型: float32

• 形状: [1]

• 维度名称: null

• 名称: next.done

• 数据类型: bool

• 形状: [1]

• 维度名称: null

补充信息

• 名称: complementary_info.discrete_penalty
• 数据类型: float32
• 形状: [1]
• 维度名称: ["discrete_penalty"]

观测图像

• 名称: observation.images.front

• 数据类型: video

• 形状: [3, 128, 128]

• 维度名称: ["channels", "height", "width"]

• 视频信息:

  • 高度: 128
  • 宽度: 128
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 10
  • 通道数: 3
  • 是否包含音频: false

• 名称: observation.images.wrist

• 数据类型: video

• 形状: [3, 128, 128]

• 维度名称: ["channels", "height", "width"]

• 视频信息:

  • 高度: 128
  • 宽度: 128
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 10
  • 通道数: 3
  • 是否包含音频: false

观测状态

• 名称: observation.state
• 数据类型: float32
• 形状: [18]
• 维度名称: null

索引与时间戳

• 名称: timestamp

• 数据类型: float32

• 形状: [1]

• 维度名称: null

• 名称: frame_index

• 数据类型: int64

• 形状: [1]

• 维度名称: null

• 名称: episode_index

• 数据类型: int64

• 形状: [1]

• 维度名称: null

• 名称: index

• 数据类型: int64

• 形状: [1]

• 维度名称: null

• 名称: task_index

• 数据类型: int64

• 形状: [1]

• 维度名称: null

其他信息

• 代码库版本: v3.0
• 机器人类型: null
• 主页: [More Information Needed]
• 论文: [More Information Needed]
• 引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建方式直接影响算法的训练效果。gym_hil_microwave_test数据集依托LeRobot平台生成，通过模拟微波炉测试环境，采集了10个完整交互片段，总计774帧数据。数据以分块形式存储于Parquet文件中，每块包含1000条记录，确保了高效的数据读取与处理。该构建过程注重时序连续性，每帧数据均附带动作、观测状态及奖励信号，为强化学习研究提供了结构化的训练基础。

特点

该数据集在机器人操作任务中展现出鲜明的多模态特性。其观测部分融合了前视与腕部摄像头采集的128x128分辨率视频流，帧率为10fps，编码格式为AV1，同时包含18维的状态向量。动作空间由四维连续变量构成，涵盖三维位移与夹爪控制。此外，数据集提供了即时奖励、完成标志及离散惩罚等互补信息，支持端到端的策略学习与评估。这种丰富的特征组合使其适用于复杂环境下的模仿学习与强化学习算法验证。

使用方法

使用该数据集时，研究者可通过LeRobot工具链直接加载Parquet格式的数据文件。数据集已预设训练划分，涵盖全部10个交互片段。典型应用流程包括：解析视频流与状态观测作为模型输入，以动作向量作为监督信号，结合奖励与完成标志进行策略优化。数据集的时序索引与分块结构便于进行批量训练与长序列分析，可用于开发微波炉操作等精细操控任务的自主决策模型，推动机器人技能学习的前沿探索。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究依赖于高质量、结构化的交互数据集。gym_hil_microwave_test数据集由HuggingFace的LeRobot项目创建，旨在为机器人操作任务提供标准化评估基准。该数据集聚焦于微波炉操作这一具体场景，通过整合多模态观测数据与连续动作空间，支持端到端策略学习与仿真验证。其设计体现了当前机器人学中数据驱动范式的趋势，即通过真实或仿真交互数据来训练通用型机器人控制系统，从而推动家庭服务机器人等应用的实用化进程。

当前挑战

该数据集致力于解决机器人操作任务中的策略学习挑战，特别是在非结构化环境中执行精细动作的泛化能力问题。构建过程中面临多重困难：多模态数据的高效对齐与同步是一大难点，如前视与腕部摄像头视频流需与状态、动作数据精确匹配；数据规模有限，仅包含10个回合，可能影响模型训练的鲁棒性与泛化性能；此外，复杂动作空间的连续控制要求算法具备高样本效率，而稀疏奖励设置则增加了策略优化的难度。这些挑战共同制约了基于该数据集的模型在实际场景中的部署效果。

常用场景

经典使用场景

在机器人学习领域，强化学习算法的验证常依赖于高质量的真实世界交互数据。gym_hil_microwave_test数据集通过记录机械臂在微波炉测试环境中的操作轨迹，为离线强化学习与模仿学习提供了宝贵的训练资源。其包含多视角图像、状态向量及动作指令，使研究者能够复现复杂操作任务，评估策略在模拟到真实迁移中的泛化能力。

实际应用

在工业自动化与家庭服务机器人场景中，精准操控家电设备是关键技术挑战。本数据集模拟的微波炉操作任务可直接应用于家用电器操控系统的开发，为机器人抓取、门阀开关及按钮按压等精细动作提供基准测试。其视觉与状态数据的同步采集模式，能够优化现实环境中基于视觉的闭环控制系统的部署效率。

衍生相关工作

基于此类机器人交互数据集，学术界衍生出诸多经典研究脉络。例如，结合LeRobot平台开发的跨任务策略迁移方法，利用类似数据实现了技能复用；同时，该数据集的结构设计启发了多传感器时序对齐算法的改进，促进了以视觉为主导的端到端操控模型的演进，并为后续大规模机器人数据集的标准化格式树立了参考范式。