GF-Minecraft Dataset

GF-Minecraft数据集旨在满足动作可控视频生成的三个关键需求：1. 可定制的动作，以实现成本效益高的大规模数据收集；2. 无偏的动作序列，以确保多样化和低概率的动作组合；3. 多样化的场景，带有文本描述，以捕捉场景特定的物理动态。该数据集包含70小时的游戏视频，带有动作注释，并预配置了三种生物群落、三种天气条件和六种时间，生成了超过2000个视频片段。每个片段包含2000帧，并配有由多模态语言模型MiniCPM-V生成的文本描述。

GF-Minecraft dataset aims to address three critical requirements for action-controllable video generation: 1. Customizable actions to enable cost-effective large-scale data collection; 2. Unbiased action sequences to ensure diverse and low-probability action combinations; 3. Diverse scenes with textual descriptions to capture scene-specific physical dynamics. This dataset contains 70 hours of gameplay video paired with action annotations, and is pre-configured with three biomes, three weather conditions, and six time settings, yielding over 2000 video clips. Each clip consists of 2000 frames and is accompanied by textual descriptions generated by the multimodal language model MiniCPM-V.

原始信息汇总

数据集概述

数据集名称

GameCrypto: Creating New Games with Generative Interactive Videos

数据集简介

GameCrypto 是一个新颖的框架，旨在解决游戏视频生成中的场景泛化问题。现有的方法通常在固定风格和环境中表现不佳，限制了其创建多样化和新颖游戏的能力。GameCrypto 通过结合预训练的大型视频生成模型和从小型高质量数据集 GF-Minecraft 中学习的动作控制模块，实现了这一目标。该框架通过多阶段训练策略，将游戏风格学习和动作控制解耦，从而保留了其开放域泛化能力，同时实现了动作可控的视频生成。

数据集发布

• [2025/1/14] 发布了 项目页面 和 数据集。

GF-Minecraft 数据集

1. 数据集介绍

GF-Minecraft 数据集旨在满足动作可控视频生成的三个关键需求：

1. 可定制的动作：用于低成本、大规模数据收集。
2. 无偏的动作序列：确保多样化和低概率的动作组合。
3. 多样化的场景：带有文本描述，捕捉场景特定的物理动态。

使用 Minecraft 作为数据收集平台，因其全面的API、多样化的开放世界环境和广泛的动作空间。通过执行预定义的随机动作序列，收集了 70小时的游戏视频，并带有动作注释。

2. 文件结构

数据集可以从 HuggingFace 下载，文件结构如下：

GF-Minecraft ├── data_2003 │ ├── part_aa │ ├── part_ab │ ├── part_ac │ ├── part_ad │ ├── part_ae │ └── part_af └── data_269.zip

合并部分文件后，数据集结构如下：

GF-Minecraft ├── data_2003 │   ├── annotation.csv │   ├── metadata │   │   ├── seed_1_part_1.json │   │   ├── seed_2_part_2.json │   │   ├── seed_3_part_3.json │   │   └── ... │   └── video │   ├── seed_1_part_1.mp4 │   ├── seed_2_part_2.mp4 │   ├── seed_3_part_3.mp4 │   └── ... └── data_269 ├── annotation.csv ├── metadata │   ├── seed_1_part_1.json │   ├── seed_2_part_2.json │   ├── seed_3_part_3.json │   └── ... └── video ├── seed_1_part_1.mp4 ├── seed_2_part_2.mp4 ├── seed_3_part_3.mp4 └── ...

3. 文件详情

• annotation.csv：包含所有视频剪辑的文本描述。
• metadata/：包含每个视频剪辑的详细元数据。
• video/：包含 .mp4 格式的视频文件。

4. JSON 文件详情

每个 JSON 文件包含以下关键信息：

• actions：描述视频中执行的动作序列。
• biome：视频记录的地形类型。
• initial_weather：视频开始时的天气条件。
• start_time：视频开始的时间。

5. 实用脚本

• detection.py：检测无效跳跃和碰撞。
• visualize.py：可视化动作信息并生成注释视频。

搜集汇总

数据集介绍

构建方式

GF-Minecraft数据集的构建基于Minecraft游戏平台，利用其丰富的API和开放世界环境，通过执行预定义的随机动作序列，收集了70小时的游戏视频数据。为了增强数据的多样性，数据集涵盖了三种生物群落（森林、平原、沙漠）、三种天气条件（晴天、雨天、雷暴）以及六种时间设定（如日出、正午、午夜），生成了超过2000个视频片段。每个片段包含2000帧，并通过多模态语言模型MiniCPM-V生成相应的文本描述，确保了数据的高质量和多样性。

使用方法

GF-Minecraft数据集的使用方法包括下载、解压和合并数据文件。用户可以从HuggingFace平台下载数据集，并通过命令行工具将分块的数据文件合并为完整的压缩包。解压后，数据集包含视频文件、元数据文件以及文本描述文件。用户可以通过提供的Python脚本进行无效跳跃和碰撞检测，进一步优化数据质量。此外，数据集还提供了可视化脚本，帮助用户将动作信息标注到视频中，便于模型训练和验证。

背景与挑战

背景概述

GF-Minecraft数据集由GameCrypto团队于2025年1月发布，旨在推动游戏视频生成领域的研究。该数据集基于Minecraft平台，通过其丰富的API和开放世界环境，收集了70小时的游戏视频数据，涵盖了多种生物群落、天气条件和时间变化。数据集的核心研究问题在于如何实现动作可控的视频生成，尤其是在多样化的场景中保持动作的多样性和物理动态的准确性。通过结合预训练的大规模视频生成模型和动作控制模块，GF-Minecraft为游戏开发中的场景泛化和动作控制提供了重要支持，并为自动驾驶和具身智能等领域的扩展应用奠定了基础。

当前挑战

GF-Minecraft数据集在构建过程中面临多重挑战。首先，如何确保动作序列的多样性和无偏性是一个关键问题，特别是在大规模数据收集中避免重复和低概率动作组合的缺失。其次，场景的多样性要求数据集涵盖多种生物群落、天气条件和时间变化，这对数据采集的复杂性和成本提出了较高要求。此外，视频帧与动作注释的精确对齐以及多模态语言模型生成的文本描述的准确性也是技术难点。这些挑战不仅影响了数据集的构建质量，也对后续模型训练的泛化能力和动作控制精度提出了更高要求。

常用场景

经典使用场景

GF-Minecraft数据集在游戏视频生成领域具有广泛的应用，尤其是在基于动作控制的视频生成任务中。该数据集通过提供大量带有动作注释的游戏视频片段，支持研究人员训练和验证生成模型，使其能够生成具有多样化场景和复杂动作序列的游戏视频。其经典使用场景包括游戏开发中的虚拟环境生成、游戏AI的行为模拟以及游戏内容的自动化生成。

解决学术问题

GF-Minecraft数据集解决了游戏视频生成中的几个关键学术问题。首先，它通过提供多样化的场景和动作序列，解决了现有方法在风格和环境固定性上的局限性，从而提升了生成模型的泛化能力。其次，数据集中的动作注释和场景描述为研究动作控制与场景动态之间的关系提供了丰富的数据支持，推动了动作可控视频生成技术的发展。此外，该数据集还为研究多模态学习（如文本与视频的联合建模）提供了实验基础。

实际应用

在实际应用中，GF-Minecraft数据集为游戏开发者和内容创作者提供了强大的工具。通过利用该数据集训练的模型，开发者可以快速生成高质量的游戏视频内容，减少人工设计的工作量。此外，该数据集还可用于游戏AI的训练，帮助AI学习复杂的动作序列和场景交互，从而提升游戏体验。在教育和培训领域，该数据集也可用于创建虚拟训练环境，模拟真实场景中的动作和决策过程。

数据集最近研究

最新研究方向

近年来，GF-Minecraft数据集在游戏视频生成领域引起了广泛关注，尤其是在动作可控视频生成和开放域泛化方面的研究。该数据集通过结合Minecraft的多样化环境和丰富的动作空间，提供了70小时的游戏视频数据，涵盖了多种生物群落、天气条件和时间变化，为训练动作可控的视频生成模型奠定了坚实基础。当前研究热点集中在如何利用该数据集提升生成模型的泛化能力，特别是在游戏风格学习和动作控制模块的解耦上。通过多阶段训练策略，研究者们能够在不牺牲开放域生成能力的前提下，实现动作可控的视频生成。此外，GF-Minecraft数据集还被探索作为通用世界模型的潜力，有望在自动驾驶和具身智能等领域得到扩展应用。这些研究不仅推动了游戏开发技术的进步，也为跨领域的智能系统提供了新的研究方向。