tsinghua-ee/AVUTBenchmark

音频中心视频理解基准（AVUT）数据集旨在评估多模态大型语言模型（LLM）对视频的理解能力，特别关注音频信息。该数据集通过使用答案排列过滤机制来解决其他基准中存在的文本捷径问题。数据集包括两个主要的注释文件：一个由人工标注者精心创建，另一个由Gemini模型自动生成。

The Audio-centric Video Understanding Benchmark (AVUT) dataset is designed to evaluate the video comprehension capabilities of multimodal Large Language Models (LLMs) with a focus on auditory information. This dataset addresses the text shortcut problem present in other benchmarks by employing an answer permutation-based filtering mechanism. The dataset structure consists of two primary annotation files: one created by human annotators and another generated automatically by the Gemini model.

搜集汇总

数据集介绍

构建方式

AVUTBenchmark数据集的构建源于对多模态大语言模型在视频理解中听觉信息处理能力的深度关注。为克服现有基准测试中普遍存在的“文本捷径”问题——即模型可仅凭问题文本推断答案而无需分析视频内容，该数据集创新性地引入基于答案排列的过滤机制。数据标注通过两条路径完成：一是由人类标注员精心制作《AV_Human_data.json》，确保语义准确性与上下文一致性；二是借助Gemini模型自动生成《AV_Gemini_data.json》，以规模化扩展覆盖范围。这种双轨制构建方式既保留了专家级标注的严谨性，又兼顾了数据量的可扩展性，为音频中心视频理解提供了坚实可靠的评估基础。

特点

该数据集的核心特色在于其对音频信息的偏重与对评估偏差的深刻校正。区别于传统视频理解基准，AVUTBenchmark将听觉内容置于中心地位，系统性地检验模型对音频语义、情感线索及音视频交互的整合能力。尤为突出的是，其通过答案置换过滤技术，有效排除了文本层面的简单推理干扰，迫使模型必须依赖真实视频与音频的联合分析才能得出正确答案。此外，双来源标注设计（人工与自动）为模型性能的鲁棒性评估提供了对比维度，既反映了人类认知的细腻度，也捕捉了自动生成中的潜在模式，从而全面刻画多模态大语言模型的真实理解水平。

使用方法

使用AVUTBenchmark时，研究者需加载其提供的视频注释JSON文件作为评估基础。具体流程包括：首先，从数据集获取《AV_Human_data.json》与《AV_Gemini_data.json》两份标注文件，它们分别对应人工与自动生成的答案集；其次，将目标多模态大语言模型应用于相应视频-文本输入，生成预测输出；最后，通过与标注文件中的标准答案进行对比计算，衡量模型在音频中心任务上的表现。该数据集支持视频到文本的多种任务形式，适用于需要严格评估模型听觉理解能力的实验场景，尤其适合检验模型避免文本捷径依赖的泛化性能。

背景与挑战

背景概述

在视频理解领域，多模态大语言模型（LLMs）的进展日益依赖于对多感官信息的综合处理，其中听觉信息承载着视觉模态所无法替代的语境、情感与语义线索。为填补现有基准测试中听觉理解评估的空白，清华大学研究团队于2025年提出了音频中心视频理解基准（AVUT），相关论文发表于arXiv。该基准由项目团队精心构建，核心研究问题在于系统性地评估多模态LLMs对视频中音频内容及音视频交互的深层理解能力。AVUT的提出不仅为音频导向的视频理解设立了新的评估标准，更通过其独特的去文本捷径设计，显著推动了评测方法的可靠性，对多模态学习领域产生了重要影响。

当前挑战

该数据集面临的核心挑战包括：其一，解决领域内普遍存在的文本捷径问题，即许多现有基准中模型可仅凭问题文本推断答案而无需分析视频，AVUT通过答案排列过滤机制来强制模型依赖音视频内容。其二，构建过程中需确保音频中心任务的设计能全面覆盖音频内容理解与音视频交互，避免任务偏向单一模态。其三，人工标注与自动生成注释（如Gemini模型生成）之间的质量一致性控制，以及如何在高复杂度的音视频场景中保持标注的准确性与公平性，构成了构建过程中的主要技术难点。

常用场景

经典使用场景

在视频理解与多模态大模型评估的学术前沿，AVUT基准数据集以其对音频信息的深度聚焦而独树一帜。该数据集最经典的使用场景在于系统性地评测多模态大语言模型对视频中听觉内容的感知与推理能力，涵盖音频内容识别、音视频交互理解等核心任务。通过精心设计的任务体系，研究者得以剥离视觉模态的干扰，精准衡量模型在音频驱动下的视频理解水平，从而揭示模型在真实多模态环境中的认知边界。

衍生相关工作

围绕AVUT数据集，已衍生出一系列具有影响力的研究工作。其核心论文《Audio-centric Video Understanding Benchmark without Text Shortcut》系统阐述了基准设计与验证过程，为相关领域树立了方法论标杆。此外，该数据集催生了对多模态大模型音视频融合机制的深入探索，例如研究者基于AVUT的任务框架，开发了新的音频特征编码与跨模态对齐策略，显著提升了模型在嘈杂环境下的鲁棒性。这些衍生工作不仅推动了音频中心视频理解的理论发展，也为构建更智能、更全面的多模态AI系统奠定了实证基础。

数据集最近研究

最新研究方向

在视频理解领域，多模态大语言模型虽已取得显著进展，但现有基准往往因“文本捷径”问题而高估模型真实能力，即模型可仅凭问题文本推断答案，无需深入分析视频内容。为此，清华大学团队提出的AVUT基准聚焦于音频中心视频理解，通过精心设计的音频相关任务与答案排列过滤机制，全面评估模型对音频内容及音视频交互的深层理解。这一研究方向紧扣当前多模态模型在复杂环境下的鲁棒性挑战，其意义在于推动模型摆脱对文本线索的依赖，真正实现基于多感官信息的智能推理，为构建更可靠、更贴近人类感知的视频分析系统奠定了关键评估基础。