GameVibe

GameVibe是由马耳他大学的数字游戏研究所创建的一个新颖的多模态情感游戏语料库，专注于第一人称射击（FPS）游戏视频的观众参与度。该数据集包含从YouTube上的公开“Let’s Play”视频中提取和精选的30个不同FPS游戏的高质量音频和视觉数据，总计2小时。数据收集涉及20名标注者，包括训练有素的研究人员、研究生和本科生。情感标签以无界、时间连续信号的形式提供，使用RankTrace标注工具在PAGAN平台上进行。数据集包括原始视频、预训练基础模型提取的潜在表示以及每个标注者的质量保证数据，旨在提高下游任务中情感模型的一般化能力。GameVibe is a novel multimodal affective gaming corpus created by the Digital Games Institute of the University of Malta, focusing on viewer engagement in first-person shooter (FPS) gameplay videos. This dataset contains high-quality audio and visual data from 30 distinct FPS games, extracted and curated from publicly available "Let's Play" videos on YouTube, with a total duration of 2 hours. The data collection involved 20 annotators, including trained researchers, graduate students, and undergraduate students. The affective labels are provided as unbounded, temporally continuous signals, annotated using the RankTrace annotation tool on the PAGAN platform. The corpus includes raw videos, latent representations extracted by pre-trained foundation models, and quality assurance data for each annotator, aiming to enhance the generalizability of affective models in downstream tasks.

搜集汇总

数据集介绍

构建方式

GameVibe数据集的构建过程经过精心设计，以确保其多样性和可靠性。首先，研究团队从30款不同的第一人称射击（FPS）游戏中选取了公开的‘Let’s Play’视频作为情感刺激源，确保视频内容以游戏画面为主，且不包含玩家或主播的评论。每个游戏的四段一分钟视频被随机分配到不同的标注会话中，以减少标注者的疲劳效应。标注任务通过PAGAN平台进行，使用RankTrace工具记录连续无界的情感信号。此外，标注者还完成了视觉和听觉的质量保证任务，以确保其标注的可靠性。

特点

GameVibe数据集的特点在于其多模态性和高多样性。数据集包含来自30款FPS游戏的120段一分钟视频，涵盖了不同的游戏模式、艺术风格和设计元素。每段视频由5名标注者进行情感标注，共生成600条情感标注轨迹。数据集还提供了视频和音频的潜在特征提取，使用了VideoMAE、MVD和BEATS等预训练模型。此外，数据集包含标注者的质量保证数据，帮助研究者评估标注的可靠性。这种多样性和多模态性使得GameVibe成为研究情感模型泛化能力的理想选择。

使用方法

GameVibe数据集的使用方法灵活多样，适用于多种情感计算任务。研究者可以通过数据集提供的Python脚本处理原始标注数据，生成时间连续的情感信号，并进行归一化或平滑处理。数据集还支持使用预训练的视觉和音频模型提取潜在特征，便于下游任务的建模。此外，研究者可以根据标注者的质量保证数据筛选可靠的标注者，或通过动态时间规整（DTW）分析标注者间的一致性。数据集的结构清晰，包含视频、标注和问卷数据，便于研究者根据需求进行定制化分析。

背景与挑战

背景概述

GameVibe数据集由马耳他大学数字游戏研究所的研究团队于2023年创建，旨在为情感计算领域提供高质量的多模态视听刺激数据。该数据集聚焦于第一人称射击（FPS）游戏，通过收集和分析玩家与观众的情感反应，推动人机交互（HCI）研究的深入发展。GameVibe包含30款FPS游戏的2小时高质量视频数据，涵盖了丰富的游戏模式和艺术风格，旨在为情感预测模型的泛化能力提供支持。该数据集的创建不仅为游戏设计、内容创作者和流媒体平台提供了宝贵的资源，还为情感计算领域的研究提供了新的实验基础。

当前挑战

GameVibe数据集在构建过程中面临多重挑战。首先，情感标注具有高度主观性，不同标注者对同一刺激的反应可能存在显著差异，这需要通过严格的标注者可靠性测试来确保数据质量。其次，数据集的构建需要平衡多样性与一致性，既要涵盖广泛的游戏风格和模式，又要确保视频内容的视听质量和游戏体验的连贯性。此外，标注过程中还需克服标注者疲劳和标注工具的技术限制，确保标注数据的连续性和准确性。最后，如何在真实场景中验证情感模型的泛化能力，也是该数据集面临的核心挑战之一。

常用场景

经典使用场景

GameVibe数据集在情感计算领域中被广泛应用于研究观众在观看第一人称射击游戏（FPS）视频时的情感反应。通过多模态的视听刺激，该数据集能够捕捉到观众在游戏过程中的情感波动，尤其是紧张、兴奋和无聊等情感状态的变化。这种数据集的经典使用场景包括情感模型的训练与验证，帮助研究者深入理解观众在游戏视频中的情感体验。

实际应用

GameVibe数据集的实际应用场景主要集中在游戏开发和内容创作领域。通过分析观众在观看FPS游戏视频时的情感反应，游戏开发者可以优化游戏设计，提升玩家的沉浸感和参与度。此外，该数据集还可用于直播平台的推荐系统，帮助内容创作者更好地理解观众的情感需求，从而制作更具吸引力的游戏内容。

衍生相关工作

GameVibe数据集衍生了一系列相关研究，尤其是在多模态情感分析和游戏体验优化领域。基于该数据集的研究工作包括情感模型的泛化能力验证、跨游戏风格的情感预测以及观众参与度的实时监测。此外，GameVibe还为其他情感计算数据集提供了参考，推动了情感计算技术在游戏和娱乐行业的广泛应用。