metaworld_mt50

该数据集是 MetaWorld MT50 模拟器的 LeRobot v2 格式后训练（post-training）下游微调数据集。它包含 2,500 个 episode，共 204,806 帧，覆盖 49 个任务 ID。数据以 80 FPS 采样，分为三个 chunk，仅包含训练集（split: train）。每个样本包含以下字段：observation.image（图像，形状为 [3, 480, 480]）、observation.state（浮点状态，形状为 [4]）、observation.environment_state（环境状态，形状为 [39]）、action（动作，形状为 [4]，对应 x, y, z 和 gripper）。此外，每帧保留奖励/成功标志、任务 ID、episode 索引、帧索引和全局索引。该数据集专为 MetaWorld MT50 环境的下游策略微调设计，不直接用于评估。This dataset is a post-training downstream fine-tuning dataset in LeRobot v2 format for the MetaWorld MT50 simulator. It contains 2,500 episodes with 204,806 frames, covering 49 task IDs. The data is sampled at 80 FPS, divided into three chunks, and includes only the training split (split: train). Each sample contains the following fields: observation.image (image, shape [3, 480, 480]), observation.state (floating-point state, shape [4]), observation.environment_state (environment state, shape [39]), action (action, shape [4], corresponding to x, y, z, and gripper). Additionally, each frame retains reward/success flags, task ID, episode index, frame index, and global index. This dataset is specifically designed for downstream policy fine-tuning in the MetaWorld MT50 environment and is not directly used for evaluation.

原始信息汇总

数据集概述

MetaWorld MT50 LeRobot 后训练数据集（仓库 ID：Mark-ZJTang/metaworld_mt50）是一个用于下游微调的 LeRobot v2 格式数据集，专为 MetaWorld MT50 模拟器环境设计。

数据规模与结构

• 总集数：2,500 个 episode
• 总帧数：204,806 帧
• 任务数量：49 个任务 ID
• 数据划分：train 划分（索引 0:2500）
• 采样频率：80 FPS
• 数据分块：三个 chunk

数据字段说明

字段	类型/形状	内容
observation.image	图像，[3, 480, 480]	视觉观测
observation.state	float32，[4]	机器人的状态信息
observation.environment_state	float32，[39]	环境状态信息
action	float32，[4]（x, y, z, gripper）	动作指令（位置 + 夹爪）
每帧奖励/成功标志	-	保留每帧的 reward 和 success 信息
索引信息	-	保留 task、episode、frame 及全局索引

使用说明

• 该数据集是训练数据集，MetaWorld MT50 模拟器的评估过程本身不读取此数据。
• 可通过 ALAM 仓库中的下载脚本恢复为加载器兼容的相对路径，并使用提供的测试脚本验证下游数据集。
• 恢复后的根目录为 data/lerobot/metaworld_mt50，公共微调包装器将其父目录作为 HF_LEROBOT_HOME 环境变量传入。

发布注意事项

数据发布前需验证生成轨迹的来源和再分发权利，以及捆绑任务资产的合规性，并补充许可证和生成细节。

搜集汇总

数据集介绍

构建方式

该数据集源自MetaWorld MT50仿真环境，通过LeRobot v2格式进行后处理，精心构建了2,500个训练片段，共计204,806帧，覆盖49个不同的任务标识。数据采集以80 FPS的频率进行，每个片段均包含三个分块，确保了时间序列的连续性与动作执行的细粒度。数据特征维度设计精巧，其中观测图像为[3, 480, 480]的三维张量，状态向量与环境状态向量分别编码为4维与39维的浮点数组，而动作空间则限定为4维（x, y, z, 夹爪），兼顾了机器人在三维空间中的位姿调控与抓取操作。每个数据点均保留逐帧奖励、成功标志、任务标识、片段索引与全局索引，为下游任务提供了完整的学习信号。

特点

该数据集在结构上呈现出高度组织化的特点，其划分明确，训练集完整覆盖全部片段，便于直接用于模型的后训练微调。数据以80 FPS的高采样率记录，时间分辨率优越，能够捕捉精细的动态变化。观测图像采用标准化的480x480分辨率，与主流视觉策略网络兼容，降低了预处理门槛。状态表示精简而信息丰富，4维状态向量与39维环境状态协同，既保证了控制的核心信息，又提供了丰富的上下文。动作空间设计简洁实用，仅包含位置与夹爪控制，凸显了MetaWorld任务的核心操作逻辑。此外，数据集的逐帧标注体系完善，奖励与成功标志的同步记录，使其成为评估多任务学习算法性能的可靠基准。

使用方法

使用该数据集时，用户需遵循ALAM仓库的约定，首先通过提供的下载脚本获取数据，并将其放置在兼容的目录结构中，即`data/lerobot/metaworld_mt50`。随后，可利用公共微调包装器将数据集的父目录指定为`HF_LEROBOT_HOME`环境变量，以便于其他工具链的集成。数据集已按LeRobot v2格式组织，支持直接读取训练集（0至2500片段），并可通过标准数据加载器进行批处理。建议运行官方测试脚本验证数据集的完整性，确保加载路径正确。该数据集专为MetaWorld MT50仿真环境的评估设计，但本身作为训练数据，不直接参与模拟器的交互，适用于离线强化学习、模仿学习以及多任务策略预训练等场景，研究者可基于此数据微调模型，以提升其在多样化操作任务上的泛化能力。

背景与挑战

背景概述

MetaWorld MT50 LeRobot后训练数据集由研究者Mark-ZJTang创建，旨在为机器人操控领域的多任务模仿学习提供标准化训练资源。该数据集包含2,500个episodes、204,806帧与49个任务ID，覆盖了MetaWorld MT50基准中的多样化操控任务，并于近期发布在HuggingFace平台上。其核心研究问题在于弥合模拟器中大规模任务学习与真实机器人部署之间的鸿沟，通过提供稠密奖励、成功信号以及状态-动作对应关系，支持基于LeRobot v2格式的后续微调。该数据集作为训练专用资源，不直接用于评估，而是与ALAM仓库的流程兼容，显著降低了多任务策略后训练的数据准备成本，对机器人学习社区中标准化数据管线的推进具有重要影响。

当前挑战

该数据集所应对的领域挑战源自多任务机器人学习的泛化瓶颈，即在不同操控任务间高效迁移知识，同时避免灾难性遗忘和任务干扰，这需要具备高覆盖度、一致性标注的大规模数据支撑。构建过程中面临多重困难：一是从MetaWorld模拟器生成轨迹时需确保任务多样性与状态分布的均衡，避免样本偏向单一任务；二是需精确对齐观测图像、状态向量（4维）与环境状态（39维）至统一格式，并保持80 FPS下的帧间一致性；三是数据发布前必须验证生成轨迹的出处与再分发权限，且尚未添加license，这成为开放共享的主要障碍；此外，整合49个任务ID并维护分块、索引等元数据，也增加了数据管线的复杂性。

常用场景

经典使用场景

MetaWorld MT50数据集是机器人操作领域极具代表性的多任务基准，其经典使用场景聚焦于离线强化学习与模仿学习的算法评估。该数据集以50个不同的操纵任务为核心，提供包含视觉观测、低维状态、环境状态及动作的完整轨迹，并配备逐帧奖励与成功信号，为研究者构建和验证跨任务泛化能力提供了标准化平台。在LeRobot v2格式下，其204,806帧的高质量数据支持多模态输入训练，常用于测试元学习算法在未见任务上的快速适应性能，以及多任务策略的联合训练与迁移学习效果。

实际应用

在实际应用中，该数据集与LeRobot和ALAM等主流机器人学习框架无缝集成，显著降低了研究到产业部署的转化门槛。其轨迹数据可直接用于训练机械臂的操控策略，支持从仿真到真实世界的零样本或小样本迁移。在工业自动化场景中，该数据集助力构建可适应不同装配流程的通用操作模型；在服务机器人领域，则支撑多技能融合的日常任务执行。此外，其环境状态与逐帧成功信号为闭环控制系统提供了精细的反馈信息，服务于高精度生产线上柔性机器人路径规划的优化。

衍生相关工作

基于MetaWorld MT50衍生了大量经典工作，例如利用该数据集进行预训练后微调的P0模型、以及结合上下文学习实现任务条件化策略的多任务Transformer架构。后续研究如多任务元学习中的任务嵌入方法与跨任务知识蒸馏框架，也以此数据集为实验基础。在LeRobot生态中，该数据的发布催生了一批聚焦于数据高效微调和离线到在线转换的研究，推动了机器人学习社区从单一任务建模向通用操作智能的范式转变，其影响力持续体现在后续的多任务基准构建与仿真到现实迁移验证工作中。