KwaiVGI/GameFactory-Dataset

GF-Minecraft数据集是一个为动作可控视频生成而设计的游戏视频数据集，包含70小时的游戏视频和动作标注。数据集通过在Minecraft平台上执行预定义的随机动作序列来收集，分为两部分，一部分包含鼠标和键盘动作，另一部分仅包含键盘动作。每个视频剪辑都配有文本描述，并提供了详细的元数据文件，以帮助训练动作可控且具有泛化能力的游戏视频生成模型。The GF-Minecraft Dataset is a game video dataset designed for action-controllable video generation, containing 70 hours of gameplay videos with action annotations. The dataset is collected by executing predefined, randomized action sequences on the Minecraft platform and is divided into two parts, one with both mouse and keyboard actions, and the other with only keyboard actions. Each video clip is accompanied by a textual description and detailed metadata files are provided to assist in training action-controllable and generalizable game video generation models.

搜集汇总

背景与挑战

背景概述

GameFactory-Dataset（GF-Minecraft Dataset）是一个基于Minecraft游戏平台构建的大规模视频数据集，旨在支持动作可控的视频生成模型训练。数据集包含70小时的游戏视频，超过2000个片段，每个片段有2000帧，并配有详细的动作注释和文本描述，覆盖多种生物群落、天气条件和时间设置。数据以视频文件、JSON元数据和CSV注释文件的形式组织，提供动作序列、环境上下文等信息，适用于游戏视频生成和动作理解研究。