Minecraft Goal-Observation-Action (MGOA)

Name: Minecraft Goal-Observation-Action (MGOA)
Creator: 哈尔滨工业大学
Published: 2025-02-27 17:18:04
License: 暂无描述

arXiv2025-02-27 更新2025-03-04 收录

下载链接：

http://arxiv.org/abs/2502.19902v1

下载链接

链接失效反馈

官方服务：

资源简介：

MGOA数据集是由哈尔滨工业大学和鹏城实验室共同创建的高质量数据集，包含25000个视频，涵盖8个原子任务，提供了大约3000万对齐的观察-目标-行动配对。该数据集通过自动化构建方法生成，旨在为训练Minecraft智能体提供支持，解决开放世界任务中的行为模式学习问题。

The MGOA dataset is a high-quality resource co-developed by Harbin Institute of Technology and Peng Cheng Laboratory. It contains 25,000 videos covering 8 atomic tasks, and provides approximately 30 million aligned observation-goal-action pairs. Generated via automated construction approaches, this dataset is designed to support the training of Minecraft AI Agents, addressing the challenge of behavior pattern learning in open-world tasks.

提供机构：

哈尔滨工业大学

创建时间：

2025-02-27

搜集汇总

数据集介绍

构建方式

MGOA数据集的构建采用自动化流程，通过提供清晰的自然语言指令给现有代理（如STEVE-1），让代理在Minecraft环境中完成任务。在任务执行过程中，记录每个时间步的观察和动作，从而生成目标-观察-动作对。为了确保数据质量，只保留成功完成的任务数据，并剔除执行时间过长的任务数据。这种方法无需手动标注或伪标签，能够高效生成大规模高质量的数据集。

特点

MGOA数据集包含8个原子任务，涵盖5个技术级别，共约30万个目标-观察-动作对。该数据集的特点是高质量、自动生成，且包含明确的自然语言指令，为训练Minecraft代理提供了丰富的数据资源。此外，MGOA数据集的构建过程具有可并行性，能够快速生成大量数据。

使用方法

MGOA数据集可用于训练Minecraft代理，特别是用于训练目标-观察-动作条件策略（GOAP）。使用MGOA数据集进行行为克隆训练，可以让代理学习到丰富的行为模式，并能够理解和执行开放式的自然语言指令。此外，MGOA数据集还可以与其他数据集混合使用，以提高训练数据的质量和多样性。

背景与挑战

背景概述

Minecraft Goal-Observation-Action (MGOA) 数据集的创建旨在解决在开放世界环境中构建能够模仿人类行为模式以完成各种任务的智能体的挑战。该数据集由哈尔滨工业大学深圳校区和鹏城实验室的研究人员于2025年提出，旨在通过模拟复杂任务中的行为模式，提高智能体在开放世界环境中的适应性和效率。MGOA数据集包含25,000个视频，涵盖8个基本任务，提供了约3000万对目标-观察-动作数据对。该数据集的创建为研究社区提供了大规模、高质量的数据，以训练Minecraft智能体，推动了开放世界智能体研究的发展。

当前挑战

MGOA数据集面临的挑战包括：1) 模拟复杂任务中人类行为模式的挑战，需要智能体能够理解和执行开放式的语言指令，并适应不断变化的环境；2) 构建过程中遇到的挑战，如如何高效地生成高质量的观察-目标-动作数据对，以及如何确保数据集的多样性和一致性。此外，现有智能体在理解开放式语言指令和推理能力方面仍存在局限性，需要进一步研究和改进。

常用场景

经典使用场景

Minecraft Goal-Observation-Action (MGOA) 数据集被广泛应用于训练智能体以模拟人类行为模式，完成各种开放世界中的任务。该数据集包含了 25,000 个视频，涵盖了 8 个原子任务，提供了大约 3000 万个目标-观察-动作对。通过观察和动作序列建模，以及将行为标记与开放语言指令对齐，MGOA 数据集有助于智能体更好地理解自然语言指令，并预测后续动作。

衍生相关工作

MGOA 数据集的提出衍生了相关的经典工作，例如 Optimus-2 智能体。Optimus-2 是一个结合了多模态大型语言模型 (MLLM) 进行高级规划和目标-观察-动作条件策略 (GOAP) 进行低级控制的 Minecraft 智能体。GOAP 包含了行动引导行为编码器，用于在每个时间步建模观察和动作之间的因果关系，并将历史观察-动作序列整合成固定长度的行为标记，以及 MLLM，用于将行为标记与开放语言指令对齐，以预测后续动作。

数据集最近研究