MMVU

MMVU（Measuring Expert-Level Multidiscipline Video Understanding）是由耶鲁大学NLP团队创建的一个综合性基准数据集，旨在评估多模态基础模型在专家级视频理解任务中的表现。该数据集包含3000个专家标注的问题，覆盖科学、医疗、人文与社会科学、工程四个核心学科的27个主题。每个问题都基于1529个专业领域的视频，要求模型结合领域知识和专家级推理能力进行分析。数据集的创建过程采用了教科书引导的标注方法，确保每个问题都经过严格的质量控制，并附有专家标注的推理过程和相关领域知识。MMVU的应用领域主要集中在专家级知识密集型视频理解任务，旨在解决当前多模态模型在复杂视频理解中的局限性问题。MMVU (Measuring Expert-Level Multidiscipline Video Understanding) is a comprehensive benchmark dataset developed by the Yale University NLP team, designed to evaluate the performance of multimodal foundation models on expert-level video understanding tasks. This dataset contains 3,000 expert-annotated questions covering 27 topics across four core disciplines: science, medicine, humanities and social sciences, and engineering. Each question is grounded in 1,529 professional-domain videos, requiring models to conduct analysis by integrating domain-specific knowledge and expert-level reasoning abilities. The dataset was constructed using a textbook-guided annotation workflow, with strict quality control applied to every question, and each entry is accompanied by expert-annotated reasoning chains and relevant domain knowledge. The primary application scenarios of MMVU focus on expert-level knowledge-intensive video understanding tasks, aiming to address the limitations of current multimodal models in complex video understanding.

搜集汇总

数据集介绍

构建方式

MMVU数据集的构建过程采用了以教科书为指导的问答标注流程，确保了知识的广度和深度的结合。首先，专家标注者从各自的领域教科书中识别关键概念，然后寻找相关的视频，并创建需要专业知识才能理解视频内容的问题。每个例子都包含专家标注的推理理据和相关领域知识，以便进行深入分析。此外，每个例子都经过严格的数据质量控制，以确保数据集的高质量。

特点

MMVU数据集的特点在于其全面性和专业性。它包含了3000个专家标注的问答示例，涵盖了四个核心学科（科学、医疗保健、人文与社会科学、工程）的27个主题。与以往的数据集相比，MMVU具有三个关键优势：首先，它挑战模型应用特定领域的知识，并执行专家级的推理来分析专业领域的视频，超越了当前视频基准中通常评估的基本视觉感知。其次，每个示例都是由人类专家从头开始标注的。我们实施了严格的数据质量控制，以确保数据集的高质量。最后，每个示例都丰富了专家标注的推理理据和相关领域知识，以促进深入分析。

使用方法

使用MMVU数据集的方法包括对其进行评估和模型训练。首先，可以从官方网站下载数据集和代码。然后，可以按照数据集的使用说明进行数据处理和模型训练。在模型训练完成后，可以使用数据集中的验证集和测试集来评估模型性能。此外，还可以使用专家标注的推理理据和相关领域知识来进行模型错误分析和案例研究，以深入了解模型的优缺点和改进方向。

背景与挑战

背景概述

在视频理解领域，多模态基础模型在推理方面取得了显著进展，但其在处理专家级知识方面的能力仍需评估。Zhao et al. (2025) 提出的 MMVU 数据集旨在填补这一空白，它是一个全面的专家级多学科基准，用于评估视频理解中的基础模型。MMVU 包括 3,000 个专家注释的问题，涵盖了四个核心学科（科学、医疗保健、人文和社会科学、工程）中的 27 个主题。与之前的数据集相比，MMVU 的三个关键优势是：首先，它挑战模型应用特定领域的知识并执行专家级推理来分析专业领域的视频，超越了当前视频基准中通常评估的基本视觉感知；其次，每个示例都由人类专家从头开始注释，我们实施严格的数据质量控制，以确保数据集的高质量；最后，每个示例都丰富了专家注释的推理理由和相关领域知识，以促进深入分析。

当前挑战

MMVU 数据集面临的挑战包括：1) 所解决的领域问题的挑战，即专家级、知识密集型视频理解；2) 构建过程中遇到的挑战，例如，由于缺乏现有的资源（例如教科书或考试问题），每个示例都必须从头开始创建，这需要建立一个结构化的方法来确保基准的质量和全面性。此外，确保视频内容对于准确回答是必要的，并排除那些仅通过文本组件即可回答的问题，这对视频理解和推理提出了更高的要求。

常用场景

经典使用场景

MMVU数据集是一个全面的专家级、多学科基准，用于评估视频理解中的基础模型。它包括3,000个由专家注释的问题，涵盖了四个核心学科：科学、医疗保健、人文与社会科学和工程。MMVU的三个关键进展使其在评估视频理解模型方面具有独特的优势：首先，它挑战模型应用特定领域的知识和进行专家级的推理来分析专业领域的视频，超越了当前视频基准中通常评估的基本视觉感知。其次，每个示例都是由人类专家从头开始注释的。我们实施了严格的数据质量控制，以确保数据集的高质量。最后，每个示例都丰富了专家注释的推理理由和相关领域知识，便于深入分析。我们对32个前沿多模态基础模型在MMVU上进行了广泛的评估。最新的System-2-capable模型，o1和Gemini 2.0 Flash Thinking，在测试的模型中表现出最高的性能。然而，它们仍然无法达到与人类专业知识相匹配的水平。通过深入的错误分析和案例研究，我们为未来在专业领域进行专家级、知识密集型视频理解的进步提供了可操作的见解。

解决学术问题

MMVU数据集解决了当前视频理解基准主要集中在一般性视频理解任务上的问题，如动作识别、字幕和描述、定位、时间推理和长视频理解。然而，这些基准仍然主要关注自然场景和通用任务。在专业领域视频中，针对专家级和知识密集型推理的基准仍然存在重大差距，在这些领域，既需要视觉感知，也需要特定领域的专业知识，尤其是在医疗保健、工程和科学研究等关键领域。MMVU通过引入一个涵盖多个学科、要求专家级推理的视频理解基准，填补了这一空白。

衍生相关工作

MMVU数据集衍生了多个相关的工作，包括多模态基础模型在视频理解中的应用、视频理解基准的构建和评估、专家级推理和领域知识集成等方面。例如，一些研究利用MMVU数据集评估了多模态基础模型在视频理解中的应用，并提出了改进模型性能的方法。一些研究利用MMVU数据集构建了新的视频理解基准，并提出了新的评估指标和方法。一些研究利用MMVU数据集研究了专家级推理和领域知识集成的方法，并提出了改进模型推理能力的方法。