Videogame-Affordances-Corpus

该数据集包含视频游戏的截图和标签文件，截图以UUID命名，格式为.png，标签文件为9通道.npy文件，命名为标签者用户名。数据集用于视频游戏可操作性注释。

This dataset comprises screenshots of video games and corresponding annotation files. All screenshots are named using UUIDs and saved in .png format, whereas the annotation files are 9-channel .npy files named after the respective annotator's username. This dataset is developed for operability annotation of video games.

原始信息汇总

数据集概述

数据集名称

VGAC-Tagging

数据集内容

• 图像格式：.png
• 数据结构：包含多个文件夹，每个文件夹以UUID命名，内含截图和9通道的.npy格式affordance地图文件。
• 预处理：支持从视频中提取截图，处理重复图像，以及从截图中提取唯一瓷砖。

安装与使用

• Docker安装：推荐使用Docker进行快速部署，需克隆仓库并解压vgac_current.zip，确保games目录与zip文件同级。
• 本地安装：通过Anaconda或miniconda环境，使用提供的start_env.yml文件创建环境，并运行Flask服务器。

预处理步骤

1. 视频到截图：使用mkv_to_pngs.sh脚本从游戏录像中提取截图。
2. 去重处理：使用findimagedupes工具识别并处理重复的截图。
3. 瓷砖提取：使用ImageMagick从截图中提取8x8的瓷砖。

预测功能

• 预测模型：使用提供的模型对截图进行affordance预测，输出概率图。

数据集结构

project_name | README.md |___pre_processing | | |___vgac_tagging | | manage.py | | requirements.txt | | Dockerfile | | docker-compose.yml | | | |___scripts
| | | docker_ingest.sh | | | docker_script.sh | | |___games | |___sm3 | | | | | |___screenshots | | | |___12341234-UUID-56785678 | | | | 12341234-UUID-56785678.png | | | | 12341234-UUID-56785678.json | | | | tagger_name.npy | | | | | |___tiles | | | | 43214321-UUID-87658765.png | | | | tile_affordances.csv

搜集汇总

数据集介绍

构建方式

Videogame-Affordances-Corpus（VGAC）数据集的构建过程主要依赖于对视频游戏截图的分析与标注。首先，通过Docker容器技术，数据集的管理与处理得以高效进行。具体步骤包括克隆GitHub仓库、解压数据集文件、并通过Docker命令启动服务器。数据集的预处理阶段涉及将视频文件转换为截图，并使用图像处理工具如ImageMagick将截图分割为8x8的图块。这些图块随后被用于生成唯一的图块集，并通过贪心算法进行优化，以确保数据集的多样性和代表性。

特点

VGAC数据集的特点在于其专注于视频游戏中的可操作性（affordances）标注。数据集包含多个游戏截图及其对应的可操作性地图，这些地图以9通道的.npy文件形式存储，每个通道代表一种特定的可操作性。数据集的结构化设计使得每个截图和其对应的图块都具有唯一的UUID标识，便于数据的管理与检索。此外，数据集还提供了预训练模型，用于预测截图中的可操作性，进一步增强了其实用性。

使用方法

VGAC数据集的使用方法主要包括数据预处理、模型训练与预测。用户可以通过Docker容器快速启动服务器，并使用提供的脚本进行数据预处理，如将视频转换为截图、去除重复截图、生成唯一图块等。数据集的预测模块允许用户使用预训练模型对新的游戏截图进行可操作性预测，输出为黑白图像，白色表示高概率的可操作性区域。用户还可以根据需求调整模型的参数，以适应不同的应用场景。

背景与挑战

背景概述

Videogame-Affordances-Corpus（VGAC）数据集是一个专注于视频游戏场景中物体可操作性（affordances）标注的资源，旨在为计算机视觉和游戏设计领域提供支持。该数据集由EXAG 2019会议的研究团队创建，主要研究人员通过分析游戏截图中的物体及其可操作性，推动了游戏场景理解的研究。VGAC的核心研究问题在于如何通过标注游戏中的物体及其可操作性，帮助机器学习模型更好地理解游戏场景中的交互行为。该数据集对游戏AI、场景理解以及交互设计等领域产生了深远影响，为相关研究提供了宝贵的数据支持。

当前挑战

VGAC数据集在构建和应用过程中面临多重挑战。首先，标注游戏场景中的物体可操作性需要高度精确的语义理解，尤其是在复杂的游戏环境中，物体的可操作性往往具有多样性和模糊性，这对标注的准确性和一致性提出了极高要求。其次，数据集的构建过程涉及大量的图像预处理和标注工具的开发，尤其是在处理不同游戏风格和分辨率的截图时，如何高效地提取和匹配游戏中的物体及其可操作性成为技术难点。此外，数据集的扩展性和通用性也面临挑战，如何将标注工具和模型应用于更多类型的游戏场景，仍需进一步研究和优化。

常用场景

经典使用场景

Videogame-Affordances-Corpus数据集在电子游戏交互设计研究中扮演着重要角色。该数据集通过收集和标注大量游戏截图及其对应的功能映射图，为研究者提供了一个丰富的资源库，用于分析游戏中的交互元素及其功能。经典的使用场景包括游戏界面的可用性测试、交互设计的优化以及游戏元素的自动识别与分类。

实际应用

在实际应用中，Videogame-Affordances-Corpus数据集被广泛用于游戏开发中的界面设计和优化。开发者可以利用该数据集中的标注信息，快速识别和调整游戏中的交互元素，提升用户体验。此外，该数据集还被用于游戏测试工具的开发和优化，帮助测试人员更高效地评估游戏的可用性和交互性。

衍生相关工作

基于Videogame-Affordances-Corpus数据集，研究者们已经开展了多项经典工作。例如，利用该数据集训练的深度学习模型在游戏元素自动识别任务中取得了显著成果。此外，该数据集还催生了一系列关于游戏界面可用性评估的研究，推动了交互设计领域的理论发展和实践创新。