Minecraft Goal-Observation-Action (MGOA)|游戏智能体数据集|行为模式学习数据集

arXiv2025-02-27 更新2025-03-04 收录

游戏智能体

行为模式学习

下载链接：

http://arxiv.org/abs/2502.19902v1

下载链接

链接失效反馈

资源简介：

MGOA数据集是由哈尔滨工业大学和鹏城实验室共同创建的高质量数据集，包含25000个视频，涵盖8个原子任务，提供了大约3000万对齐的观察-目标-行动配对。该数据集通过自动化构建方法生成，旨在为训练Minecraft智能体提供支持，解决开放世界任务中的行为模式学习问题。

提供机构：

哈尔滨工业大学

创建时间：

2025-02-27

AI搜集汇总

数据集介绍

构建方式

MGOA数据集的构建采用自动化流程，通过提供清晰的自然语言指令给现有代理（如STEVE-1），让代理在Minecraft环境中完成任务。在任务执行过程中，记录每个时间步的观察和动作，从而生成目标-观察-动作对。为了确保数据质量，只保留成功完成的任务数据，并剔除执行时间过长的任务数据。这种方法无需手动标注或伪标签，能够高效生成大规模高质量的数据集。

特点

MGOA数据集包含8个原子任务，涵盖5个技术级别，共约30万个目标-观察-动作对。该数据集的特点是高质量、自动生成，且包含明确的自然语言指令，为训练Minecraft代理提供了丰富的数据资源。此外，MGOA数据集的构建过程具有可并行性，能够快速生成大量数据。

使用方法

MGOA数据集可用于训练Minecraft代理，特别是用于训练目标-观察-动作条件策略（GOAP）。使用MGOA数据集进行行为克隆训练，可以让代理学习到丰富的行为模式，并能够理解和执行开放式的自然语言指令。此外，MGOA数据集还可以与其他数据集混合使用，以提高训练数据的质量和多样性。

背景与挑战

背景概述

Minecraft Goal-Observation-Action (MGOA) 数据集的创建旨在解决在开放世界环境中构建能够模仿人类行为模式以完成各种任务的智能体的挑战。该数据集由哈尔滨工业大学深圳校区和鹏城实验室的研究人员于2025年提出，旨在通过模拟复杂任务中的行为模式，提高智能体在开放世界环境中的适应性和效率。MGOA数据集包含25,000个视频，涵盖8个基本任务，提供了约3000万对目标-观察-动作数据对。该数据集的创建为研究社区提供了大规模、高质量的数据，以训练Minecraft智能体，推动了开放世界智能体研究的发展。

当前挑战

MGOA数据集面临的挑战包括：1) 模拟复杂任务中人类行为模式的挑战，需要智能体能够理解和执行开放式的语言指令，并适应不断变化的环境；2) 构建过程中遇到的挑战，如如何高效地生成高质量的观察-目标-动作数据对，以及如何确保数据集的多样性和一致性。此外，现有智能体在理解开放式语言指令和推理能力方面仍存在局限性，需要进一步研究和改进。

常用场景

经典使用场景

Minecraft Goal-Observation-Action (MGOA) 数据集被广泛应用于训练智能体以模拟人类行为模式，完成各种开放世界中的任务。该数据集包含了 25,000 个视频，涵盖了 8 个原子任务，提供了大约 3000 万个目标-观察-动作对。通过观察和动作序列建模，以及将行为标记与开放语言指令对齐，MGOA 数据集有助于智能体更好地理解自然语言指令，并预测后续动作。

衍生相关工作

MGOA 数据集的提出衍生了相关的经典工作，例如 Optimus-2 智能体。Optimus-2 是一个结合了多模态大型语言模型 (MLLM) 进行高级规划和目标-观察-动作条件策略 (GOAP) 进行低级控制的 Minecraft 智能体。GOAP 包含了行动引导行为编码器，用于在每个时间步建模观察和动作之间的因果关系，并将历史观察-动作序列整合成固定长度的行为标记，以及 MLLM，用于将行为标记与开放语言指令对齐，以预测后续动作。

数据集最近研究

相关研究论文

1
Optimus-2: Multimodal Minecraft Agent with Goal-Observation-Action Conditioned Policy哈尔滨工业大学 · 2025年

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4099个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

PDT Dataset

PDT数据集是由山东计算机科学中心（国家超级计算济南中心）和齐鲁工业大学（山东省科学院）联合开发的无人机目标检测数据集，专门用于检测树木病虫害。该数据集包含高分辨率和低分辨率两种版本，共计5775张图像，涵盖了健康和受病虫害影响的松树图像。数据集的创建过程包括实地采集、数据预处理和人工标注，旨在为无人机在农业中的精准喷洒提供高精度的目标检测支持。PDT数据集的应用领域主要集中在农业无人机技术，旨在提高无人机在植物保护中的目标识别精度，解决传统检测模型在实际应用中的不足。

arXiv 收录

MedDialog

MedDialog数据集（中文）包含了医生和患者之间的对话（中文）。它有110万个对话和400万个话语。数据还在不断增长，会有更多的对话加入。原始对话来自好大夫网。

github 收录

Breast Ultrasound Images (BUSI)

小型（约500×500像素）超声图像，适用于良性和恶性病变的分类和分割任务。

github 收录

中国省级灾害统计空间分布数据集(1999-2020年)

该数据集为中国省级灾害统计空间分布数据集，时间为1999-2020年。该数据集包含中国各省自然灾害、地质灾害、地震灾害、森林火灾、森林病虫鼠害、草原灾害六类灾害的详细数据。数据量为206MB，数据格式为excel。

国家地球系统科学数据中心收录

PU Dataset

德国帕德博恩大学（PU）轴承故障诊断数据集提供了丰富的轴承故障信号数据，包括内圈、外圈和滚动体故障等多种类型的轴承故障。与其他数据集相比，PU数据集的特色在于包含了大量的电机驱动系统故障数据，为轴承故障诊断研究提供了一个全面的实验平台。

github 收录