GF-Minecraft Dataset

GF-Minecraft数据集旨在满足动作可控视频生成的三个关键需求：1. 可定制的动作，以实现成本效益高的大规模数据收集；2. 无偏见的动作序列，以确保多样化和低概率的动作组合；3. 多样化的场景，带有文本描述，以捕捉特定场景的物理动态。我们使用Minecraft作为数据收集平台，因为它具有全面的API、多样化的开放世界环境和广泛的动作空间。通过执行预定义的随机动作序列，我们收集了70小时的游戏视频，并带有动作注释。为了增强多样性，我们预先配置了三种生物群系（森林、平原、沙漠）、三种天气条件（晴天、雨天、雷雨）和六种时间（例如日出、中午、午夜），生成了超过2000个视频片段。每个片段包含2000帧，并配有文本描述。

The GF-Minecraft dataset is designed to meet three critical requirements for action-controllable video generation: 1. Customizable actions to enable cost-effective large-scale data collection; 2. Unbiased action sequences to ensure diverse and low-probability action combinations; 3. Diverse scenarios with text descriptions to capture scene-specific physical dynamics. We selected Minecraft as the data collection platform due to its comprehensive APIs, diverse open-world environments and extensive action space. By executing predefined random action sequences, we collected 70 hours of gameplay videos paired with action annotations. To enhance diversity, we pre-configured three biomes (forest, plain, desert), three weather conditions (sunny, rainy, thunderstorm) and six time points (e.g., sunrise, noon, midnight), generating over 2000 video clips. Each clip contains 2000 frames and is accompanied by text descriptions.

原始信息汇总

数据集概述

数据集名称

GameFactory: Creating New Games with Generative Interactive Videos

数据集简介

GameFactory 是一个新颖的框架，旨在解决游戏视频生成中的场景泛化问题。现有方法通常在固定风格和环境中表现不佳，限制了其创建多样化和新颖游戏的能力。GameFactory 通过将预训练的大型视频生成模型的开放域生成能力与从小规模高质量数据集（GF-Minecraft）学习的动作控制模块相结合，实现了这一目标。这种解耦的游戏风格学习和动作控制通过多阶段训练策略实现，使框架在保持开放域泛化能力的同时，能够生成动作可控的视频。

数据集发布

• 发布日期：2025年1月14日
• 发布内容：论文、项目页面、数据集

GF-Minecraft 数据集

数据集介绍

GF-Minecraft 数据集旨在满足动作可控视频生成的三个关键需求：

1. 可定制的动作：用于低成本、大规模数据收集。
2. 无偏的动作序列：确保多样化和低概率的动作组合。
3. 多样化的场景：带有文本描述，捕捉场景特定的物理动态。

数据收集平台

使用 Minecraft 作为数据收集平台，因其全面的API、多样化的开放世界环境和广泛的动作空间。

数据集内容

• 70小时的游戏视频：带有动作注释。
• 超过2000个视频片段：每个片段包含2000帧，并配有由多模态语言模型 MiniCPM-V 生成的文本描述。

文件结构

数据集可从 HuggingFace 下载，文件结构如下：

GF-Minecraft ├── data_2003 │ ├── part_aa │ ├── part_ab │ ├── part_ac │ ├── part_ad │ ├── part_ae │ └── part_af └── data_269.zip

目录详情

1. annotation.csv：包含所有视频片段的文本描述。
2. metadata/：包含每个视频片段的详细元数据的JSON文件。
3. video/：包含视频文件（.mp4格式）。

JSON文件详情

每个JSON文件提供对应视频片段的详细元数据，最重要的信息是 actions 字段，描述视频中执行的动作序列。

有用脚本

• detection.py：检测并标记无效跳跃和碰撞。
• visualize.py：允许用户在输入视频上注释动作信息并保存为带注释的视频。

引用

如果发现我们的工作有帮助，请引用我们的论文： bibtex @misc{yu2025gamefactory, title={GameFactory: Creating New Games with Generative Interactive Videos}, author={Yu, Jiwen and Qin, Yiran and Wang, Xintao and Wan, Pengfei and Zhang, Di and Liu, Xihui}, year={2025}, eprint={xxxxxxxx}, archivePrefix={arXiv}, }

搜集汇总

数据集介绍

构建方式

GF-Minecraft数据集的构建基于Minecraft平台，利用其丰富的API和开放世界环境，通过执行预定义的随机动作序列，收集了70小时的游戏视频数据。为了增强数据的多样性，数据集涵盖了三种生物群落（森林、平原、沙漠）、三种天气条件（晴天、雨天、雷雨）以及六种时间段（如日出、正午、午夜），生成了超过2000个视频片段。每个片段包含2000帧，并通过多模态语言模型MiniCPM-V生成相应的文本描述，确保了数据集的多样性和高质量。

特点

GF-Minecraft数据集的特点在于其高度可定制的动作序列、无偏见的动作组合以及多样化的场景描述。数据集不仅提供了丰富的视频片段，还包含了详细的元数据和文本注释，能够有效支持动作可控的视频生成任务。此外，数据集的场景多样性通过生物群落、天气条件和时间段的组合得以体现，为模型训练提供了广泛的物理动态场景。

使用方法

GF-Minecraft数据集的使用方法包括下载和解压数据集文件，合并部分文件以生成完整的压缩包。数据集文件结构清晰，包含视频文件、元数据文件和注释文件。用户可以通过提供的Python脚本进行无效跳跃和碰撞检测，进一步优化数据质量。此外，数据集还提供了动作可视化脚本，帮助用户直观理解动作序列。通过这些工具和方法，用户可以高效地利用该数据集进行动作可控视频生成模型的训练与评估。

背景与挑战

背景概述

GF-Minecraft数据集是由香港大学与快手科技联合开发，旨在解决游戏视频生成中的场景泛化问题。该数据集于2025年发布，主要研究人员包括Jiwen Yu、Yiran Qin等。数据集的核心研究问题在于如何通过预训练的大规模视频生成模型与动作控制模块的结合，生成多样化的游戏场景。GF-Minecraft数据集以Minecraft为数据收集平台，通过执行随机化的动作序列，收集了70小时的游戏视频，并配备了详细的文本描述。该数据集为动作可控的视频生成模型提供了坚实的基础，推动了游戏开发领域的创新。

当前挑战

GF-Minecraft数据集在解决游戏视频生成问题时面临多重挑战。首先，如何确保动作序列的多样性和低概率组合，以避免模型过拟合特定动作模式。其次，构建过程中需处理大规模数据的收集与标注，尤其是在不同生物群系、天气条件和时间变化下的场景多样性。此外，数据集还需通过多模态语言模型生成高质量的文本描述，以捕捉场景特定的物理动态。这些挑战要求数据集在数据采集、标注和模型训练过程中保持高度的精确性和一致性。

常用场景

经典使用场景

GF-Minecraft数据集在游戏视频生成领域具有广泛的应用场景，尤其是在动作可控的视频生成任务中。该数据集通过Minecraft平台收集了大量多样化的游戏视频片段，涵盖了多种生物群落、天气条件和时间变化，为研究者提供了一个丰富的实验环境。其经典使用场景包括训练和评估基于动作控制的视频生成模型，帮助模型学习如何在多样化的游戏环境中生成连贯且可控的视频内容。

衍生相关工作

GF-Minecraft数据集衍生了一系列相关研究工作，尤其是在动作可控视频生成和通用世界模型领域。基于该数据集的研究成果推动了游戏视频生成技术的发展，并为其他领域的应用提供了新的思路。例如，一些研究利用该数据集训练了能够生成多样化游戏场景的模型，进一步探索了动作控制与场景生成的结合方式。这些工作为未来的研究奠定了坚实的基础。

数据集最近研究

最新研究方向

近年来，GF-Minecraft数据集在游戏视频生成领域引起了广泛关注，尤其是在动作可控视频生成和场景泛化方面。该数据集通过结合Minecraft的开放世界环境和多样化的动作空间，提供了70小时的游戏视频数据，涵盖了多种生物群落、天气条件和时间变化。这些数据不仅为训练动作可控的视频生成模型提供了坚实的基础，还为研究如何将预训练的大规模视频生成模型与动作控制模块相结合提供了新的思路。当前的研究热点集中在如何利用该数据集进一步提升模型的泛化能力，使其不仅适用于游戏开发，还能扩展到自动驾驶和具身智能等领域。GF-Minecraft数据集的发布为这些前沿研究方向提供了重要的数据支持，推动了生成式交互视频技术的进一步发展。