gamewam-minecraft

GameWAM Minecraft 数据集是用于 GameWAM（一种针对视频游戏的世界动作模型）的三个 Minecraft 游戏玩法数据集的集合。所有数据集均采用 LeRobot v2.1 格式，共享 22 维键盘/鼠标动作空间、6 维原始状态（俯仰角、偏航角、光标 x/y、快捷栏、GUI 打开状态）以及 15 维规范本体感受表示。视频为 640×360 分辨率、20 FPS 的 H.264 编码。数据集包含三个子集： 1) Scripted GUI (mc_scripted_gui)：由 GameWAM 作者使用脚本策略收集的同步游戏与 GUI 合成/冶炼演示，包含 58,100 个片段、9,132,067 帧，大小约 8.4 GB； 2) VPT Event (vpt_event)：基于 OpenAI VPT 承包商演示的事件锚定剪辑，包含 200,000 个片段、19,194,678 帧，大小约 240 GB，附带顶层 _pooled_meta.json 任务分布摘要； 3) VPT Contractor (vpt_contractor)：从 OpenAI VPT 承包商演示中选取的长篇片段，包含 4,900 个片段、16,930,058 帧，大小约 213 GB。 数据来源：mc_scripted_gui 由作者在原生 Minecraft 模拟器中收集；vpt_event 和 vpt_contractor 源自公开的 OpenAI Video PreTraining (VPT) 承包商演示，每个片段的原始文件名记录在 meta/episodes.jsonl 的 raw_file_name 字段中。该数据集主要适用于训练和评估世界动作模型（如 GameWAM），也可用于 Minecraft 中的行为克隆、模仿学习等任务。许可证为 Apache-2.0。GameWAM Minecraft datasets are a collection of three Minecraft gameplay datasets for GameWAM (a World Action Model for video games). All datasets are in LeRobot v2.1 format, sharing a 22-dim keyboard/mouse action space, 6-dim raw states (pitch, yaw, cursor x/y, hotbar, GUI open state), and a 15-dim canonical proprioception representation. Videos are H.264 encoded at 640×360 resolution, 20 FPS. The dataset contains three subsets: 1) Scripted GUI (mc_scripted_gui): Synchronous gameplay GUI crafting/smelting demonstrations collected by GameWAM authors using scripted policies, containing 58,100 episodes, 9,132,067 frames, ~8.4 GB; 2) VPT Event (vpt_event): Event-anchored clips based on OpenAI VPT contractor demonstrations, containing 200,000 episodes, 19,194,678 frames, ~240 GB, with a top-level _pooled_meta.json task distribution summary; 3) VPT Contractor (vpt_contractor): Long-form clips selected from OpenAI VPT contractor demonstrations, containing 4,900 episodes, 16,930,058 frames, ~213 GB. Data sources: mc_scripted_gui collected by authors in a native Minecraft simulator; vpt_event and vpt_contractor derived from publicly available OpenAI Video PreTraining (VPT) contractor demonstrations, with original filenames recorded in meta/episodes.jsonls raw_file_name field. This dataset is mainly suitable for training and evaluating world action models (e.g., GameWAM), and can also be used for behavior cloning, imitation learning, etc. in Minecraft. License: Apache-2.0.

原始信息汇总

数据集概述

GameWAM Minecraft Datasets 是一个用于视频游戏世界动作模型（GameWAM）研究的多数据集集合，共包含三个Minecraft游戏玩法数据集，总计约263,000个片段、超过4,500万帧图像，数据量合计约461.4 GB。所有数据集均采用Hugging Face LeRobot v2.1格式，共享22维键鼠动作空间、6维原始状态（俯仰角、偏航角、光标x/y坐标、快捷栏、GUI打开状态）以及15维标准本体感受表征。

数据集构成

数据集名称	子目录	片段数	帧数	约大小
脚本化GUI数据集	mc_scripted_gui/	58,100	9,132,067	8.4 GB
VPT事件数据集	vpt_event/	200,000	19,194,678	240 GB
VPT承包商数据集	vpt_contractor/	4,900	16,930,058	213 GB

所有视频均为640×360分辨率、H.264编码，帧率为20 FPS。每个子目录都是独立完整的数据集，并附有各自的README.md文件，详细说明字段、统计信息和来源。

数据来源

• mc_scripted_gui：由GameWAM作者使用脚本化策略在原生Minecraft模拟器中收集，包含同步的游戏操作与GUI合成、冶炼演示。
• vpt_event：源自OpenAI视频预训练（VPT）承包商演示中基于事件锚定的剪辑片段，并提供顶层_pooled_meta.json任务分布汇总文件。
• vpt_contractor：从OpenAI VPT承包商演示中筛选出的长格式片段。

每个片段的源发布文件名可在meta/episodes.jsonl的raw_file_name字段中查找到。

下载与使用

使用以下命令下载全部数据集： bash hf download yunncheng/gamewam-minecraft --repo-type dataset --local-dir /path/to/gamewam-minecraft

若需下载单个数据集，可使用--include参数添加匹配模式，例如--include "mc_scripted_gui/*"。

在GameWAM训练中，可通过配置文件（如configs/data/minecraft_mixed.yaml）引用下载的数据集路径，该配置文件定义了数据集分组结构，将不同数据集目录组合为三个训练输入组。

引用信息

该数据集的引用格式已由作者提供，相关研究论文题为“GameWAM: A World Action Model for Video Games”，可通过arXiv获取。

版权说明

Minecraft为Microsoft的知识产权，数据集的使用需遵守相应版权规定。

搜集汇总

数据集介绍

构建方式

该数据集由GameWAM研究团队精心构建，旨在推动视频游戏领域世界动作模型的发展，整合了源自多个来源的Minecraft游戏交互数据。其中，`mc_scripted_gui`部分由作者利用脚本化策略在原生Minecraft模拟器中自主采集，捕捉了游戏操作与GUI合成/冶炼过程的同步演示；而`vpt_event`与`vpt_contractor`则源自于OpenAI Video Pre-Training（VPT）项目的公开承包商演示数据，前者筛选出以事件为锚定的视频片段，后者保留了长时间连续的游戏回合。所有数据均遵循LeRobot v2.1格式，统一采用22维键鼠动作空间、6维原始状态及15维规范化本体感受表征，并配备元数据文件以记录每集视频的原始来源，确保了数据构建的规范性与可溯源性。

特点

此数据集规模宏大，总计包含超过26万个游戏演示片段，帧数总数超出4500万，覆盖了从精细的GUI操作到野外生存的复杂场景。其三部分数据设计巧妙，`mc_scripted_gui`提供了高度结构化的合成任务演示，而VPT衍生数据则展现了人类玩家的多样化行为模式，共同构筑了丰富的任务覆盖层次。视频格式统一为640×360分辨率、20帧/秒的H.264编码，兼顾了视觉细节与存储效率。尤为突出的是，该数据集蕴含了精细的类别分布元数据，便于研究者对任务进行深度分析，其规模与多样性为世界模型的训练提供了极为宝贵的资源。

使用方法

数据集的获取可通过HuggingFace下载接口完成，用户能灵活选取整体或按需获取单个子集。在应用层面，数据集成为了GameWAM模型训练的基石，研究者可直接在训练配置章节中引用相应分割路径，该配置已预设了将三部分数据共同应用于训练的模式。此外，每个子集内置的README文件详细阐述了字段定义与数据统计，极大降低了用户的使用门槛。同时，数据的开源许可（Apache-2.0）保障了其被广泛二次开发与研究的可能性，使其在Minecraft游戏AI领域具有极高的实用价值。

背景与挑战

背景概述

GameWAM Minecraft数据集由Yuncheng Guo等人于2026年创建，隶属于GameWAM项目，旨在为视频游戏中的世界动作模型提供训练基础。该数据集整合了三种来源的Minecraft游戏数据：作者使用脚本策略采集的GUI制作与冶炼演示、从OpenAI Video Pre-Training (VPT)承包商演示中提取的事件锚定片段，以及VPT长期片段。总计超过26万集、4500万帧，涵盖22维键盘鼠标动作空间和统一的 proprioceptive 表征，为多模态决策研究提供了规模化的数据支持。该数据集的发布填补了游戏智能体研究中缺乏大规模、标准化行为数据的空白，推动了基于世界模型的动作学习领域发展。

当前挑战

该数据集面临的核心挑战在于处理Minecraft环境的开放性及行为复杂性。数据构建需整合异构数据源，包括自采脚本数据与OpenAI VPT演示，需保证数据格式统一和动作空间对齐；规模庞大的数据（逾250GB）存储与传输构成技术瓶颈。此外，从承包商演示中提取事件锚定子集并维护任务分布均衡，需精细的元数据处理策略。领域层面，挑战涉及将22维离散连续混合动作映射到可学习的表征，以及透过GUI交互状态和三维视角信息抽象出有效状态表示，要求模型同时理解视觉、操作和游戏机制，为后续世界动作模型训练设置了高门槛。

常用场景

经典使用场景

GameWAM-Minecraft数据集是面向开放世界游戏《我的世界》构建的大规模人机交互行为数据集，其核心价值在于为多模态决策模型提供高保真的训练与评测基准。在该领域中，数据集涵盖了脚本化GUI操作、VPT事件片段与长程承包商演示三类异质数据，统一了22维键鼠动作空间与6维原始状态及15维本体感知表征，使得研究者能够便捷地开展从短时任务（如合成、熔炼）到长时规划（如建造、探索）的模仿学习与强化学习实验。该数据集的发布填补了此前缺乏大规模、标准化Minecraft行为数据的空白，成为验证‘世界行动模型’（World Action Model）架构及跨任务泛化能力的标准测试床，推动了视频游戏智能体从感知到行动的一体化研究范式的发展。

解决学术问题

该数据集解决了游戏AI领域长期面临的数据稀缺与表征不统一问题，为从人类演示中学习复杂交互策略提供了高质量素材。通过整合开放AI的VPT承包商演示与自采脚本化GUI数据，研究者得以攻克动作空间高维性、稀疏奖励和长程信用分配等核心挑战，推动了行为克隆、逆强化学习及离线强化学习在部分可观测、高自由度环境中的有效验证。其规范化的双视觉（原始视角与规范视角）与多模态对齐机制，还为多模态学习中的视角鲁棒性与动作语义消歧提供了可靠的实验基础，对理解智能体如何在开放世界中进行组合性技能获取与迁移具有深远的学术意义。

衍生相关工作

该数据集植根于OpenAI VPT工作，后者的承包商人机演示开创了利用大规模人类行为数据进行视频预训练的先河，其方法论与基线模型影响了本数据集的构建与评估。GameWAM作为核心衍生作品，提出了以行动为中心的世界模型，利用此数据集验证了行为克隆与自回归预测在游戏控制中的协同作用。后续研究中，基于此类数据衍生了具备跨任务泛化能力的决策Transformer变体、用于环境动力学建模的神经状态预测器，以及多模态融合的强化学习算法。此外，数据集的公开亦催生了社区基准挑战赛与可复现研究，围绕动作表征对齐、长时记忆机制及离线策略评估等方向展开了深入探索，形成了一套从数据构建到模型优化的完整研发生态。