in-house gameplay event detection dataset

arXiv2025-05-13 更新2025-05-14 收录

下载链接：

http://arxiv.org/abs/2505.07721v1

下载链接

链接失效反馈

官方服务：

资源简介：

本研究构建了一个内部游戏事件检测数据集，该数据集包含超过110 GB的视频数据，其中包含五款游戏中的七种事件类型（不包括背景事件）。数据集由AMD的测试人员通过手动标注视频片段中的事件时间间隔而创建。数据集的总事件数为7153，其中包含4408个个体事件和2745个背景事件。该数据集旨在通过使用X-CLIP模型进行微调，实现跨多个游戏的泛化，从而无需针对每个游戏进行工程化。数据集的创建过程耗时且迭代，需要确保收集的事件数据不会导致数据偏差。数据集在游戏社区中具有广泛的应用前景，特别是在第一人称射击（FPS）游戏中，可用于自动生成吸引人的游戏精彩集锦，从而提高游戏玩家的社交互动和观众参与度。

This study constructs an internal game event detection dataset, which contains over 110 GB of video data covering seven event types (excluding background events) across five games. The dataset was created by AMD testers via manual annotation of event time intervals within video clips. The total number of events in the dataset is 7153, including 4408 individual events and 2745 background events. This dataset is designed to achieve cross-game generalization through fine-tuning the X-CLIP model, eliminating the need for per-game engineering customization. The dataset creation process is time-consuming and iterative, requiring guarantees that the collected event data will not introduce data bias. The dataset has broad application potential in the gaming community, particularly in First-Person Shooter (FPS) games, where it can be used to automatically generate captivating game highlight reels, thereby enhancing social interaction among players and audience engagement.

提供机构：

AMD

创建时间：

2025-05-13

搜集汇总

数据集介绍

构建方式

该数据集的构建过程体现了严谨的科学方法论与高效的工程实践。研究团队通过AMD Radeon ReLive软件采集了五款第一人称射击游戏的110GB原始视频素材，并采用VGG视频标注工具(VIA)进行人工标注，共标记了4408个游戏事件。为确保数据质量，团队实施了多轮迭代标注流程，通过版本控制管理数据演进，并采用算法辅助的背景事件采样策略（Algorithm 1）来平衡数据集。视频预处理阶段采用均匀帧采样、224×224像素归一化及RGB通道标准化等技术，最终形成包含7153个标注事件的标准化数据集。

使用方法

该数据集专为微调多模态视频理解模型而设计，典型应用流程包含三个阶段：首先通过PyTorch框架加载经预处理的32帧视频片段，输入基于X-CLIP架构的视觉编码器；其次结合游戏特定的文本提示模板（如'CSGO. Kill. Player in front of the gun falls down.'）进行跨模态特征融合；最终通过余弦相似度计算实现事件分类。研究证明，采用80%-20%的标准划分进行模型微调可获得94.3%的测试准确率。对于实际部署，建议使用ONNX工具进行FP32到INT8的量化转换，在保持92.9%精度的同时将模型体积压缩至192MB。

背景与挑战

背景概述

由AMD研究团队于2023年12月发布的in-house gameplay event detection数据集，旨在解决电子竞技和游戏直播领域的关键需求——自动化生成游戏精彩片段。该数据集聚焦第一人称射击(FPS)游戏，包含《CS:GO》《PUBG》等五款热门游戏的七类事件标注，通过VIA视频标注工具人工标记了4408个事件片段。作为多模态视频理解模型X-CLIP的微调基础，该数据集突破了传统游戏引擎集成方案的技术壁垒，实现了跨游戏泛化能力，为游戏内容自动化生产提供了新的技术范式。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，需解决FPS游戏中瞬态事件（如手雷投掷）与复合事件（如击杀与换弹同时发生）的精准识别，同时克服游戏UI多样性和多语言文本的干扰；在构建过程中，需平衡事件样本分布（如《CS:GO》中击杀事件与炸弹安置事件的比例差异），并通过滑动窗口算法处理1秒片段的边界模糊问题。此外，跨游戏知识迁移要求模型既能捕捉通用特征（如枪械开火特效），又需适应不同游戏的视觉表达差异（如《守望先锋2》的特殊技能图标）。

常用场景

经典使用场景

在电子竞技和游戏流媒体平台日益盛行的背景下，in-house gameplay event detection dataset主要用于训练和优化多模态视频理解模型，以自动识别和分类第一人称射击（FPS）游戏中的关键事件，如击杀、死亡、投掷手榴弹等。该数据集通过人类标注的游戏视频片段，为模型提供了丰富的时空上下文信息，使其能够在复杂的游戏场景中准确识别事件。

解决学术问题

该数据集有效解决了游戏事件检测中的两大核心学术问题：跨游戏泛化能力和低资源游戏的迁移学习。传统方法依赖游戏引擎集成或OCR技术，需针对每款游戏进行定制化开发，而该数据集通过微调X-CLIP等多模态模型，实现了对同类型游戏的无缝适配，且在高资源游戏（如CS:GO）上训练后，能显著提升低资源游戏（如Fortnite）的检测准确率。此外，其自然语言监督机制缓解了小样本场景下的数据稀疏性问题。

实际应用

该数据集的实际应用聚焦于游戏体验增强工具的开发。例如，AMD可将其集成至Radeon ReLive软件中，自动生成玩家精彩集锦并分享至社交媒体。量化后的模型仅需192MB存储空间，在消费级GPU上运行时对游戏帧率影响低于13%，未来还可通过异构计算（如iGPU卸载推理任务）进一步优化性能。此外，事件检测结果可用于实时玩家排名、战术分析等增值服务。

数据集最近研究