PhysGame

PhysGame基准包含880个包含故障的游戏视频，每个视频都标注了高质量的多选题，专门针对故障的性质。PhysGame涵盖了四个关键物理领域（即力学、运动学、光学和材料属性），并包含12个细分类别（例如重力和速度）。

PhysGame benchmark includes 880 faulty game videos, each annotated with high-quality multiple-choice questions specifically targeting the nature of the faults. PhysGame covers four key physics domains (i.e., mechanics, kinematics, optics, and material properties) and contains 12 fine-grained categories, such as gravity and velocity.

原始信息汇总

PhysGame 数据集概述

数据集简介

PhysGame 是一个基于游戏视频的物理常识评估基准数据集，旨在识别和评估游戏视频中的物理常识违规现象。

数据集组成

• PhysGame: 包含 880 个游戏视频，每个视频都标注了高质量的多选题，涉及四个主要物理领域（力学、运动学、光学和材料属性）和 12 个细分类别。
• PhysInstruct: 包含 140,057 个问答对，专注于物理常识理解。
• PhysDPO: 包含 34,358 个训练对，用于偏好优化。

数据集特点

• 物理常识违规: 数据集专注于游戏视频中的物理常识违规现象，简化了物理常识理解的定义和评估。
• 多领域覆盖: 数据集涵盖了力学、运动学、光学和材料属性等多个物理领域。
• 高质量标注: 每个视频都标注了高质量的多选题，确保数据集的准确性和实用性。

数据集使用

• 下载数据: 可以从 Hugging Face 仓库 下载基准视频和标注。
• 评估方法: 通过修改 evaluate_physgame.sh 脚本中的配置，运行评估脚本进行评估。
• 训练数据: 提供了 PhysInstruct 和 PhysDPO 数据集用于监督微调和偏好优化训练。

相关资源

• 项目页面: PhysGame 项目页面
• 论文: arXiv 论文
• 代码仓库: GitHub 仓库

引用

如果使用该数据集，请引用以下论文：

@article{cao2024physgame, title={PhysGame: Uncovering Physical Commonsense Violations in Gameplay Videos}, author={Cao, Meng and Tang, Haoran and Zhao, Haoze and Guo, Hangyu and Liu, Jiaheng and Zhang, Ge and Liu, Ruyang and Sun, Qiang and Reid, Ian and Liang, Xiaodan}, journal={arXiv preprint arXiv:2412.01800}, year={2024}, }

搜集汇总

数据集介绍

构建方式

PhysGame数据集的构建基于对游戏视频中物理常识违规现象的深入分析。该数据集精心挑选了880个包含物理异常的游戏视频，每个视频均附有高质量的多选题注释，旨在识别和解释这些异常现象。PhysGame涵盖了四个关键物理领域，包括力学、运动学、光学和材料属性，并细分为12个具体类别，如重力和速度。此外，PhysGame还与PhysInstruct和PhysDPO数据集相结合，用于监督微调和偏好对齐训练，共同构建了一个全面的物理常识理解评估体系。

使用方法

使用PhysGame数据集进行评估时，首先需从Hugging Face仓库下载基准视频和注释文件。接着，根据训练设置修改配置文件，指定模型检查点和数据路径。最后，运行评估脚本即可完成评估。此外，PhysGame还提供了在线排行榜，用户可以通过提交评估结果参与排名。对于特定的视频理解模型，如Video-ChatGPT和Video-MME，需按照其官方指南收集数据并运行相应的评估脚本。

背景与挑战

背景概述

PhysGame数据集由Cao等人于2024年创建，旨在解决人工智能系统在物理常识理解方面的重大挑战。该数据集的核心研究问题是通过分析游戏视频中的物理常识违规现象，来简化和评估物理常识的理解。PhysGame包含880个游戏视频，涵盖了力学、运动学、光学和材料属性四个主要物理领域，并细分为12个类别。这一数据集的创建不仅推动了物理常识在人工智能中的应用，还为相关领域的研究提供了新的基准。

当前挑战

PhysGame数据集在构建过程中面临多项挑战。首先，识别和标注游戏视频中的物理常识违规现象需要高度专业化的知识和精细的标注过程。其次，数据集的多样性和覆盖范围要求广泛的视频来源和详细的分类体系。此外，评估物理常识理解的有效性也是一个复杂的问题，需要设计精确的评估方法和基准。这些挑战不仅影响了数据集的构建质量，也对后续研究提出了高要求。

常用场景

经典使用场景

在人工智能领域，PhysGame数据集的经典使用场景主要集中在物理常识理解的评估与训练。该数据集通过包含880个游戏视频片段，每个片段都标注有高质量的多选题，专门针对视频中的物理常识违规现象进行分析。这些视频涵盖了力学、运动学、光学和材料属性四大物理领域，细分为12个子类别，如重力和速度。通过这些数据，研究人员可以训练和评估模型在识别和解释物理常识违规方面的能力，从而提升人工智能系统对物理世界的理解。

解决学术问题

PhysGame数据集解决了人工智能领域中物理常识知识获取的重大挑战。传统方法在处理真实世界视频时，往往需要穷尽所有正常物理现象，这既困难又不必要。PhysGame通过聚焦于游戏视频中的物理常识违规现象，简化了物理常识理解的定义和评估，即集中于解释物理常识违规而非列举所有正常现象。这一创新方法不仅简化了数据集的构建，还为物理常识理解的评估提供了新的视角，推动了人工智能在物理常识学习方面的研究进展。

实际应用

PhysGame数据集在实际应用中展现了广泛的前景。首先，它可用于开发和优化视频理解模型，特别是在游戏和虚拟现实领域，这些领域中物理常识的准确理解和应用至关重要。其次，该数据集还可用于教育工具的开发，帮助学生通过游戏视频学习物理常识。此外，PhysGame的物理常识违规识别能力也可应用于视频内容审核，自动检测和标记可能包含物理常识错误的视频内容，从而提高内容质量。

数据集最近研究

最新研究方向

在人工智能领域，PhysGame数据集的最新研究方向聚焦于通过游戏视频中的物理常识违规现象来提升模型的物理常识理解能力。这一研究不仅简化了物理常识的定义和评估，还通过专注于解释物理常识违规，而非列举所有正常物理现象，为人工智能系统提供了更为有效的训练和评估方法。PhysGame数据集涵盖了力学、运动学、光学和材料属性等四个关键物理领域，并细分为12个类别，为研究者提供了一个全面的基准。此外，基于PhysGame数据集，研究者们还开发了PhysVLM模型，该模型在物理常识理解和一般视频理解基准上均表现出色，标志着人工智能在物理常识学习方面取得了显著进展。