but-they-are-cats-tutorial

该数据集用于视觉问答任务，包含游戏截图、问题和答案。数据集分为两个版本，分别对应游戏的最新版本和之前版本。其目的是从文本和视觉两个方面评估场景解释的质量。数据集由Daniele Rege Cambrin创建，包含视频、帧和文本注释。需要注意的是，数据集的局限性包括单用户注释可能存在偏见，游戏为未完成原型，以及教程未涵盖所有用户交互。

This dataset is developed for visual question answering (VQA) tasks, containing game screenshots, questions and answers. It is divided into two versions corresponding to the latest and prior versions of the target game respectively. The purpose of this dataset is to evaluate the quality of scene interpretation from both textual and visual perspectives. Created by Daniele Rege Cambrin, this dataset includes videos, image frames and textual annotations. It should be noted that the limitations of this dataset are as follows: single-user annotations may carry potential biases, the game is an unfinished prototype, and the tutorial fails to cover all user interactions.

原始信息汇总

数据集卡片：But They Are Cats 教程

数据集概述

该数据集是为视觉问答（Visual Question Answering）设计的，包含游戏截图、问题和答案。问题和答案直接提供，以便更有效地进行独立于语法的评估。

数据集详情

• 任务类别: 问答、图像到文本
• 大小类别: n<1K
• 语言: 英语
• 标签: 艺术
• 许可证: OPENRAIL

配置

• 最新版本: last
• 先前版本: previous

数据结构

数据集格式如下： bash { image: Image, question: List[Text] answer: List[Text] }

数据集用途

该数据集旨在评估场景解释的文本和视觉质量。它不是为视觉-语言模型基准测试设计的，因为某些场景可能含糊不清。

数据集创建

数据集包括视频、帧和以问题和答案形式的文本注释。

源数据

Daniele Rege Cambrin录制了两个版本的视频，以确保游戏《But They Are Cats》的玩法相似。帧是从这些视频中提取的，当发生“相关”事件时。

注释

开发者Daniele Rege Cambrin提供了注释，以确保最大限度地符合开发者的实际期望。

偏差、风险和限制

单个用户创建的注释可能偏向于他对游戏的看法。游戏本身并不代表所有可能的游戏开发场景，应谨慎评估其他场景。游戏是一个未完成的原型，在与其他成品比较时应予以考虑。录制的教程不涵盖所有可能的用户交互，不应用于寻找错误。

引用

bibtex @misc{cambrin2024leveltutorialsvlmsgame, title={Level Up Your Tutorials: VLMs for Game Tutorials Quality Assessment}, author={Daniele Rege Cambrin and Gabriele Scaffidi Militone and Luca Colomba and Giovanni Malnati and Daniele Apiletti and Paolo Garza}, year={2024}, eprint={2408.08396}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2408.08396}, }

搜集汇总

数据集介绍

构建方式

该数据集专为视觉问答任务设计，包含游戏截图、问题及其对应的答案。数据集的构建基于游戏《But They Are Cats》的两个版本，开发者通过录制游戏视频并从中提取关键帧，确保每一帧都捕捉到游戏中的“相关”事件。问题与答案由开发者直接提供，以确保评估的独立性和准确性。数据集分为最新版本和前一版本，分别对应游戏的不同开发阶段。

特点

该数据集的特点在于其专注于游戏教程的质量评估，结合了视觉和文本的双重维度。数据集中的问题与答案设计简洁明了，避免了复杂的语法干扰，使得评估更加直接有效。此外，数据集的两个版本为研究者提供了对比分析的机会，能够更好地理解游戏开发过程中教程的变化与改进。然而，由于数据集由单一开发者标注，可能存在一定的个人偏见，且游戏本身为未完成原型，适用范围有限。

使用方法

该数据集主要用于评估视觉语言模型在游戏教程场景中的表现，尤其是对场景解释的质量进行测试。研究者可以通过加载数据集的两个版本来进行对比分析，使用Python代码轻松加载数据。需要注意的是，由于数据集中的某些场景可能存在模糊性，因此不建议将其用于视觉语言模型的基准测试。数据集的结构清晰，包含图像、问题列表和答案列表，便于研究者快速上手并进行相关实验。

背景与挑战

背景概述

But They Are Cats Tutorials数据集由Daniele Rege Cambrin等人于2024年创建，旨在通过视觉问答任务评估游戏教程的质量。该数据集包含游戏截图、问题及其对应的答案，主要用于从文本和视觉角度对场景解释进行质量评估。数据集的构建基于游戏《But They Are Cats》的两个版本，开发者通过人工测试筛选出相关帧并进行标注。该数据集为视觉语言模型的研究提供了新的视角，尤其在游戏开发领域，能够帮助开发者更好地理解用户对教程的反应。

当前挑战

该数据集面临的主要挑战包括：首先，视觉问答任务的复杂性要求模型能够准确理解图像内容并生成合理的回答，这对模型的视觉和语言理解能力提出了较高要求。其次，数据集的构建过程中，由于所有标注均由单一开发者完成，可能存在主观偏见，影响数据的多样性和泛化能力。此外，游戏本身为未完成的原型，其场景和交互方式有限，可能无法全面反映真实游戏环境中的复杂情况，限制了数据集在其他场景中的应用。

常用场景

经典使用场景

该数据集主要用于视觉问答（Visual Question Answering, VQA）任务，特别是在游戏教程质量评估领域。通过提供游戏截图、相关问题和直接答案，数据集能够有效评估视觉语言模型在解释游戏场景时的表现。这种设计使得评估过程不受语法差异的影响，专注于模型对视觉内容的理解和解释能力。

衍生相关工作

该数据集衍生了多项经典工作，特别是在视觉语言模型和游戏教程评估领域。例如，基于该数据集的研究提出了新的模型评估方法，进一步推动了视觉语言模型在游戏和教育领域的应用。此外，相关研究还探讨了如何通过改进模型的多模态理解能力，提升其在复杂场景下的表现。

数据集最近研究

最新研究方向

在视觉问答（Visual Question Answering, VQA）领域，'but-they-are-cats-tutorial'数据集为游戏教程质量评估提供了新的研究视角。该数据集通过游戏截图、问题与答案的形式，旨在评估场景解释的文本与视觉质量。近年来，随着视觉语言模型（VLMs）的快速发展，如何有效评估这些模型在复杂场景下的表现成为研究热点。该数据集的独特之处在于其专注于游戏场景，尤其是未完成原型中的教程部分，为研究者提供了一个新颖的实验平台。通过对比不同版本的游戏数据，研究者可以深入探讨视觉语言模型在游戏开发中的应用潜力，尤其是在教程设计与用户体验优化方面的作用。这一研究方向不仅推动了VQA技术的进步，也为游戏开发中的自动化质量评估提供了新的思路。