Game-MUG

Game-MUG是由悉尼大学开发的多模态游戏情境理解和评论生成数据集，专注于电子竞技领域。该数据集从2020至2022年的《英雄联盟》游戏直播中收集，包含文本、音频和时间序列事件日志等多种数据类型，旨在帮助理解游戏情境并生成观众参与的评论。数据集包含70,711个转录句子和3,657,611个聊天实例，覆盖了从腾讯英雄联盟职业联赛到世界锦标赛等多个顶级联赛的比赛。通过整合观众讨论、情绪和特定领域信息，Game-MUG支持开发能够全面理解游戏情境并生成类似人类评论的模型，从而增强观众的参与感和理解度。Game-MUG is a multimodal game scenario understanding and comment generation dataset developed by the University of Sydney, focusing on the esports domain. This dataset is collected from *League of Legends* live broadcasts spanning 2020 to 2022, including multiple data types such as text, audio, and time-series event logs. It aims to facilitate the understanding of game scenarios and the generation of audience-engaging comments. The dataset contains 70,711 transcribed sentences and 3,657,611 chat instances, covering multiple top-tier competitions ranging from the Tencent League of Legends Pro League to the League of Legends World Championship. By integrating audience discussions, emotional information, and domain-specific knowledge, Game-MUG supports the development of models that can comprehensively understand game scenarios and generate human-like comments, thereby enhancing audience engagement and comprehension.

搜集汇总

数据集介绍

构建方式

在电子竞技领域，多模态数据融合正成为提升游戏情境理解的关键路径。Game-MUG数据集通过系统化采集2020年至2022年间《英雄联盟》职业比赛的直播流，整合了来自YouTube与Twitch平台的多元信息流。其构建过程涉及语音识别技术转译解说音频为文本，利用爬虫工具提取游戏事件日志与观众实时聊天内容，并通过音频特征提取工具openSMILE分析情感声学参数。数据经过时间戳对齐与去隐私化处理，最终形成涵盖文本、音频与时序事件的多模态序列，为游戏情境分析提供了结构化工序。

特点

该数据集的核心特征在于其多维度的信息覆盖与精细的情感标注。它不仅包含传统的游戏事件日志与解说转录文本，还融入了观众聊天记录中的情感表达与音频模态中的声学特征，从而构建了立体化的游戏情境表征。数据集中涵盖216场职业比赛、超过70万条解说片段与365万条观众聊天，事件类型覆盖击杀、防御塔摧毁等六类关键游戏行为，并通过TF-IDF加权分析揭示了游戏关键词与事件的动态关联。观众情感与游戏事件的时序相关性进一步增强了数据集的场景感知深度。

使用方法

研究者可通过时序对齐的多模态输入序列开展游戏事件预测与解说生成任务。典型应用流程包括：以固定时间窗口提取游戏事件、解说文本与观众聊天作为输入，利用预训练编码器（如DeBERTa、RoBERTa）进行多模态特征融合，进而通过联合学习框架实现事件分类与解说文本生成。数据集中已提供基于GPT-4生成的标注解说作为基准参考，支持研究者通过特殊事件嵌入增强生成模型的情境感知能力，并通过自动指标（ROUGE、BERTScore）与人工评估验证模型性能。

背景与挑战

背景概述

随着电子竞技产业的蓬勃发展，观众对游戏情境的即时理解需求日益凸显。由悉尼大学与墨尔本大学的研究团队于2024年提出的Game-MUG数据集，旨在通过融合多模态信息，解决电子竞技直播中游戏情境理解与评论生成的复杂问题。该数据集采集自2020年至2022年间《英雄联盟》赛事直播，涵盖文本、音频与时间序列事件日志等多源数据，致力于构建一个能够全面捕捉游戏动态、观众情感及专业解说内容的综合性资源。其核心研究在于探索如何利用多模态学习技术，自动生成兼具事实准确性与情感共鸣的赛事评论，从而提升观众体验，并为多模态自然语言处理领域提供新的研究方向。

当前挑战

Game-MUG数据集面临的挑战主要体现在两个方面：其一，在领域问题层面，电子竞技情境理解需克服游戏事件的高动态性与复杂性，例如在瞬息万变的团战场景中，准确识别关键事件（如击杀、推塔）并融合观众情感生成人性化评论，这对模型的跨模态对齐与上下文推理能力提出了极高要求。其二，在构建过程中，数据采集与处理面临诸多困难，包括从多平台直播流中同步提取音频、文本与事件日志时的时间戳对齐问题，以及处理多语言观众聊天记录中的噪声与隐私保护需求。此外，利用大语言模型进行评论标注时，需确保生成内容与游戏情境及观众情感的一致性，这增加了数据质量控制的难度。

常用场景

经典使用场景

在电子竞技领域，Game-MUG数据集为多模态游戏情境理解与评论生成提供了经典应用场景。该数据集整合了《英雄联盟》比赛直播中的游戏事件日志、解说音频、观众聊天文本及情感信息，构建了一个涵盖文本、音频与时间序列数据的多模态资源库。研究者通过融合这些异构信息，能够深入解析游戏中的关键事件，如击杀、推塔与巨龙争夺，从而生成更具上下文感知的自动化评论，提升观众对复杂游戏动态的理解。

解决学术问题

Game-MUG数据集有效解决了多模态学习在游戏理解中的若干核心学术问题。传统游戏评论生成研究多依赖单一模态数据，难以捕捉观众情感与游戏音频等丰富信息，导致生成的评论缺乏人性化与情境深度。该数据集通过提供多源异构数据，支持模型进行跨模态特征融合，促进了游戏事件检测、情感分析与自然语言生成任务的联合优化。其意义在于推动了多模态人工智能在动态交互环境中的应用，为电子竞技领域的自动化内容创作奠定了数据基础。

衍生相关工作

围绕Game-MUG数据集，已衍生出多项经典研究工作，主要集中在多模态联合学习框架的探索。例如，研究者基于该数据集提出了融合文本、音频与事件日志的双重学习模型，通过编码器-解码器架构实现游戏情境理解与评论生成的协同优化。这些工作进一步推动了预训练语言模型如BERT、RoBERTa与生成模型如GPT-2、Pythia在游戏领域的适配，促进了跨模态注意力机制与情感增强生成技术的发展，为后续多模态游戏人工智能研究提供了重要基准。