Hunyuan-GameCraft

Name: Hunyuan-GameCraft
Creator: 腾讯混元
Published: 2025-06-21 01:50:37
License: 暂无描述

arXiv2025-06-21 更新2025-06-24 收录

下载链接：

https://hunyuan-gamecraft.github.io/

下载链接

链接失效反馈

官方服务：

资源简介：

Hunyuan-GameCraft是一个用于游戏环境中动态交互视频生成的新型框架。该数据集包含超过一百万个游戏回放记录，涵盖了超过100款AAA级游戏，确保了广泛性和多样性。数据集经过精心注释和合成，以提高精确性和控制能力。该数据集主要应用于生成动态、沉浸式、可控的游戏视频内容，旨在解决现有方法在动态性、通用性、长期一致性和效率方面的局限性。

Hunyuan-GameCraft is a novel framework for dynamic interactive video generation within gaming environments. This dataset contains over one million gameplay replay records spanning more than 100 AAA-tier video games, ensuring its comprehensiveness and diversity. The dataset has been meticulously annotated and synthesized to enhance accuracy and controllability. It is primarily applied to generating dynamic, immersive, and controllable game video content, aiming to address the limitations of existing methods in terms of dynamics, versatility, long-term consistency, and efficiency.

提供机构：

腾讯混元

创建时间：

2025-06-21

原始信息汇总

Hunyuan-GameCraft 数据集概述

基本信息

数据集名称: Hunyuan-GameCraft
研究团队:
- 主要贡献者: Jiaqi Li, Junshu Tang, Zhiyong Xu, Longhuang Wu, Yuan Zhou, Shuai Shao, Tianbao Yu, Zhiguo Cao, Qinglin Lu
- 机构: 腾讯混元实验室 (Tencent Hunyuan), 华中科技大学 (Huazhong University of Science and Technology)

研究背景

目标: 解决当前游戏视频生成方法在动态性、通用性、长期一致性和效率方面的局限性。
核心贡献:
- 提出统一键盘和鼠标输入的共享相机表示空间
- 设计混合历史条件训练策略
- 实现模型蒸馏以提高推理效率

数据集构成

规模: 包含超过100万条游戏录像
覆盖范围: 涵盖100多款AAA级游戏
增强数据: 使用精细标注的合成数据集进行微调

方法特点

输入处理:
- 将键盘/鼠标信号转换为连续相机空间
- 轻量级动作编码器设计
架构设计:
- 动作和图像特征通过patchify后相加
- 可变掩码指示器区分历史帧和预测帧
训练策略:
- 混合历史条件训练
- 模型蒸馏技术

性能表现

评估维度:
- 控制精度
- 长期一致性
- 历史保留能力
- 动态性能
对比方法:
- Matrix-Game
- MotionCtrl
- CameraCtrl
- WanX-Cam

应用场景

支持视角:
- 第一人称
- 第三人称
应用案例:
- 角色移动控制
- 复杂场景导航
- 多动作序列生成

文献引用

bibtex @misc{li2025hunyuangamecrafthighdynamicinteractivegame, title={Hunyuan-GameCraft: High-dynamic Interactive Game Video Generation with Hybrid History Condition}, author={Jiaqi Li and Junshu Tang and Zhiyong Xu and Longhuang Wu and Yuan Zhou and Shuai Shao and Tianbao Yu and Zhiguo Cao and Qinglin Lu}, year={2025}, eprint={2506.17201}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2506.17201}, }

搜集汇总

数据集介绍

构建方式

Hunyuan-GameCraft数据集的构建过程体现了高度系统化的设计理念。研究团队首先从100多款AAA级游戏中收集了超过100万段游戏录像，通过PySceneDetect工具将其分割为6秒的连贯片段。随后采用RAFT算法计算光流梯度以检测动作边界，确保视频生成训练数据的精确对齐。数据过滤环节运用了质量评估、亮度过滤和VLM梯度检测等多重技术手段，有效提升了数据质量。交互标注方面，通过Monst3R重建6自由度相机轨迹，为每段视频添加帧级位置和方向数据。最后采用分层策略生成简洁和详细的视频描述，为模型训练提供丰富的文本监督信号。

特点

该数据集最显著的特点是实现了游戏场景与交互动作的高度耦合。其包含的百万级游戏片段覆盖了广泛的游戏类型和交互模式，确保了数据的多样性和代表性。数据集特别注重动作边界的精确标注，通过光学流梯度检测实现了亚秒级的动作对齐精度。另一个突出特点是采用分层描述策略，同时提供简洁摘要和详细说明，为多粒度文本-视频对齐提供了可能。此外，数据集还包含大量合成渲染序列，通过系统化采样相机轨迹增强了模型对复杂相机运动的建模能力。

使用方法

Hunyuan-GameCraft数据集主要用于训练和评估交互式游戏视频生成模型。使用时需将原始游戏录像分割为6秒片段，并加载对应的动作标注和文本描述。数据集支持多种训练模式：单帧条件生成可用于初始场景构建，历史片段条件适用于长视频扩展，混合条件训练则能平衡交互性与一致性。评估时可采用FVD指标衡量视频真实感，通过相对位姿误差评估交互控制精度，并配合动态平均分分析运动特性。该数据集特别适合研究历史信息保持、长序列一致性等视频生成中的关键挑战。

背景与挑战

背景概述

Hunyuan-GameCraft是由腾讯混元团队与华中科技大学合作开发的高动态交互式游戏视频生成数据集，于2025年6月正式发布。该数据集聚焦于解决游戏场景中实时交互视频生成的难题，通过融合百万级AAA游戏录像与精细标注的合成数据，构建了支持连续动作空间建模的大规模多模态数据集。其创新性地将键盘鼠标输入统一为连续相机表示空间，并提出了混合历史条件训练策略，为游戏内容生成领域建立了新的基准，显著提升了生成视频的时序一致性与动作控制精度。

当前挑战

在领域问题层面，Hunyuan-GameCraft需解决三大核心挑战：高动态场景元素保真度不足导致生成动作生硬；长序列生成时的时空一致性衰减问题；实时交互场景下的计算效率瓶颈。在构建过程中面临数据稀缺性挑战，包括AAA游戏数据的获取难度、6-DoF相机轨迹的精确标注复杂度，以及真实游戏数据与合成数据的分布平衡问题。此外，动作信号到连续相机空间的映射建模、历史信息在自回归生成中的误差累积控制，都是数据集构建需要攻克的技术难点。

常用场景

经典使用场景

Hunyuan-GameCraft数据集在游戏视频生成领域展现了卓越的应用潜力，其经典使用场景主要聚焦于高动态交互式游戏内容的生成。通过整合大规模AAA游戏的真实录制数据与精细标注的合成数据，该数据集能够支持从单一图像和动作信号生成具有时空一致性的长序列游戏视频。在具体应用中，研究人员可利用标准键盘鼠标输入（如WASD、方向键）映射到统一的相机表示空间，实现平滑的视角转换与运动控制，从而模拟真实游戏中的探索、战斗等复杂交互场景。数据集特别适用于需要精确动作响应与场景记忆的开放世界游戏开发，为生成具有物理合理性和电影级灵活性的游戏内容提供了坚实基础。

衍生相关工作

该数据集催生了多项具有影响力的衍生研究。基于其连续动作空间表示，CameraCtrl II提出了轻量级相机注入模块以增强预训练模型的动态保持能力。在长视频生成方向，Phased Consistency Model利用该数据集的蒸馏策略实现了20倍加速比。Matrix-Game受启发开发了无限长游戏世界生成框架，而GameFactory则探索了生成式交互视频在新型游戏设计中的应用。这些工作共同构成了从基础算法到终端应用的完整研究谱系，推动着交互式内容生成领域向更高动态性、更强可控性的方向发展。

数据集最近研究