VideoGlitchBench

VideoGlitchBench是一个专为视频中游戏故障检测设计的基准数据集。该数据集源自大规模游戏视频集合GamePhysics，后者收集自GamePhysics子版块。VideoGlitchBench共包含5,238个经过标注的游戏玩法视频片段，覆盖了120款视频游戏，涉及6种主要游戏类型：动作、模拟、角色扮演、策略、解谜和冒险。其中，包含故障的视频有4,717个，作为负样本的无故障视频有521个。数据以视频文件（.mp4）和标注文件（annotations.json）的形式组织，视频文件按游戏名称存放在子目录中。标注文件为每个视频提供了详细的元数据和故障信息，包括：唯一标识符、游戏名称、主类型、子类型、视频文件名、是否有故障的布尔标志、描述故障的自然语言文本列表，以及故障发生的具体时间节点（以秒为单位的起止时间对列表）。该数据集适用于视频分类、目标检测、异常检测和视频理解等任务，旨在为游戏故障的开放端检测、基于代理的推理和时间定位研究提供基准支持。

原始信息汇总

数据集总览

VideoGlitchBench 是一个用于视频中游戏故障检测的基准数据集，包含来自120款电子游戏的5,238段带标注的游戏剪辑，涵盖6种游戏类型。该数据集源自GamePhysics数据集，后者是从Reddit社区GamePhysics收集的26,954段游戏视频。

• 许可证：Apache-2.0
• 任务类别：视频分类、目标检测
• 语言：英语
• 标签：游戏、故障、异常检测、视频理解、基准

---

数据集规模

统计项	数值
总视频数	5,238
涉及游戏数	120
含故障视频	4,717
无故障视频（负样本）	521
游戏类型数	6

---

数据结构

数据集按游戏名称组织为子目录，每个视频文件为.mp4格式，根目录下包含一个annotations.json文件存放所有标注。

VideoGlitchBench/ ├── <游戏名称>/ │ ├── <视频ID>.mp4 │ └── ... └── annotations.json

---

标注格式

annotations.json中每条记录对应一个视频，包含以下字段：

字段	说明
id	唯一标识符
game_name	游戏名称（与目录名一致）
genre	顶层游戏类型
subgenre	细粒度子类型（如射击、动作RPG）
video_name	视频剪辑的文件名
no_bugs	布尔值，true表示无故障
bugs	自然语言描述的故障列表
time_nodes	故障发生的时间段列表，格式为[[开始秒, 结束秒], ...]

示例标注： json { "id": 7, "game_name": "7 Days to Die", "genre": "Action", "subgenre": "Survival", "video_name": "32akzg.mp4", "no_bugs": false, "bugs": [ "一只兔子在冰箱门附近无故上下移动，表明物理引擎或寻路出现故障。" ], "time_nodes": [ [[3, 11]] ] }

---

游戏类型分布

类型	视频数量
Action（动作）	3,834
Simulation（模拟）	974
RPG（角色扮演）	313
Strategy（策略）	60
Puzzle（解谜）	47
Adventure（冒险）	10

---

引用信息

若使用该数据集，请引用以下文献：

bibtex @article{zheng2026open, title={Open-Ended Video Game Glitch Detection with Agentic Reasoning and Temporal Grounding}, author={Zheng, Muyang and Zhou, Tong and Wu, Geyang and Lin, Zihao and Wang, Haibo and Huang, Lifu}, journal={arXiv preprint arXiv:2604.07818}, year={2026} }

搜集汇总

数据集介绍

构建方式

VideoGlitchBench 是一个专为视频游戏中异常检测与视频理解任务设计的基准数据集，源自于 Reddit 社区 GamePhysics 中收集的 26,954 条游戏实况视频，经精心筛选与标注后构建而成。数据集包含 5,238 条经过人工标注的游戏剪辑片段，覆盖 120 款游戏与 6 种主要类型，包括动作、模拟、角色扮演、策略、解谜和冒险。每段视频均配有详细的 JSON 格式注释，记录游戏名称、类型、是否存在故障、自然语言描述的故障详情以及对应的时间节点（以秒为单位标识故障起止时间），为多模态异常检测研究提供了结构化、高精度的标注资源。

使用方法

该数据集支持视频分类与时间定位两类任务，适用于训练和评估游戏故障检测模型。使用时，可直接从游戏名称命名的子目录中读取 MP4 视频文件，并加载根目录下的 annotations.json 文件以获取标注信息。对于分类任务，可利用 'no_bugs' 字段判断视频是否包含故障；对于时间定位任务，可结合 'bugs' 字段中的自然语言描述与 'time_nodes' 字段中的时间区间进行细粒度评估。数据集采用 Apache-2.0 开源协议，便于学术研究与工业应用场景下的自由使用与再发布。

背景与挑战

背景概述

视频故障检测作为视频理解与异常检测领域的交叉研究方向，旨在从动态视觉数据中自动识别与定位由软件错误或硬件缺陷引发的非预期视觉伪影。在此背景下，VideoGlitchBench数据集于2026年由Zheng、Zhou、Wu等研究人员依托asmagard实验室构建，源自GamePhysics大规模游戏视频集合，涵盖120款横跨动作、模拟、角色扮演等6大类型的游戏，共计5238段已标注的玩法剪辑。该数据集聚焦于开放式视频游戏故障检测这一核心研究问题，即不仅判断视频是否包含故障，还需提供自然语言故障描述及时序定位，从而推动从粗粒度分类向细粒度多模态理解的范式跃迁。凭借其丰富的游戏多样性、精细标注结构及对现实游戏现象的映射，VideoGlitchBench已成为评估视频理解模型鲁棒性与推理能力的重要基准，并对游戏测试自动化、视频内容审核等应用领域产生显著影响。

当前挑战

VideoGlitchBench所应对的核心领域挑战在于游戏故障视觉检测这一长期存在的难题：故障呈现形式高度异质，如物理引擎异常、角色形变、环境穿透等，且在不同游戏语境中语义差异巨大，对传统基于静态规则或单一模态的检测方法构成严峻考验。构建过程中的挑战则体现在三个层面：首先，从海量未标注社区视频中高效筛选并确认真实故障样本，需平衡噪声与标注成本；其次，采用人工标注并撰写自然语言描述及时间节点，要求标注者具备对游戏机制的深度理解，以确保故障语义的准确性；最后，负面样本稀少（仅521段），导致类别分布极度不均衡，为模型训练与评估带来统计偏差风险，需要设计对抗欠采样或损失重加权策略加以应对。

常用场景

经典使用场景

VideoGlitchBench作为视频游戏故障检测领域的首个大规模基准数据集，其经典使用场景聚焦于从游戏视频中自动化识别和定位画面异常。该数据集包含5,238段来自120款横跨六大类别的游戏实况片段，其中每段视频均配有自然语言描述的故障文本及对应的时间戳定位。研究者常以该数据集作为标准评测平台，训练和验证模型在复杂游戏画面中区分正常行为与异常物理表现、渲染错误或路径bug的能力，为视频理解领域提供了富有挑战性的任务范本。

解决学术问题

该数据集系统性地解决了视频游戏故障检测中缺乏标准化评测基准的学术困境。传统视频异常检测多聚焦于监控安防场景，而游戏领域因画面高动态、内容极度多样，导致泛化性研究长期停滞。VideoGlitchBench提出了两个核心问题：一是通过自然语言描述实现开放词典级别的故障语义理解；二是结合时间节点定位实现故障片段的精确分割。其发布推动了模型从二分类识别向细粒度时序解析的范式转变，为视频理解与异常检测的交叉研究开辟了新方向。

实际应用

在实际产业应用中，VideoGlitchBench所推动的自动化故障检测技术可深度嵌入游戏质量保障流程。游戏测试团队可以利用基于该数据集训练的模型，在实况视频流中实时标记角色穿透地面、物理碰撞异常或环境贴图撕裂等视觉故障，大幅降低人力逐帧审阅的成本。此外，该技术还可应用于玩家自生成内容的审核系统，以及电子竞技赛事直播中的异常回放捕捉，通过机器智能辅助来提升游戏体验的一致性与专业性。

数据集最近研究

最新研究方向

在视频理解领域，游戏画面异常检测正成为评估多模态大模型鲁棒性与推理能力的前沿挑战。VideoGlitchBench数据集应运而生，它汇聚了120款游戏、横跨六大类型的5238段游戏实录，为物理引擎异常（如角色穿模、物体悬浮）等‘拟真断裂’现象提供了首个系统性基准。该数据集诞生于GamePhysics社区的海量玩家投稿，构建了一种开放式的异常检测范式——不仅要求模型定位异常时间片段，还需用自然语言描述异常成因。这一方向与当前智能体推理、时间定位技术的热点交织，推动着模型从‘识别异常’向‘理解异常背后的物理运行逻辑’跃迁，为游戏自动化测试、虚拟世界质量保障乃至通用视频语义分析提供了关键训练与评估基石。