MVBench

该数据集为评估多模态视觉-语言模型提供了一个基准，它专注于涵盖多种多样的多模态任务，其核心任务是进行多模态评估。This dataset, which serves as a benchmark for evaluating multimodal vision-language models, covers a diverse array of multimodal tasks, with its core task being multimodal evaluation.

搜集汇总

数据集介绍

构建方式

MVBench的构建开创性地采用了一种静态到动态的任务定义方法，通过将传统图像基准中的空间理解任务（如物体位置、属性识别）注入时间上下文，系统性地衍生出20个需要跨帧推理的视频理解任务。研究团队从11个公开视频数据集中精选素材，利用ChatGPT等大语言模型将原始视频标注自动转化为多项选择问答对，并精心设计了包含正确答案、干扰项及“不确定”选项的候选集。整个过程借助模板构建与大模型生成相结合的方式，大幅降低了人工标注成本，最终为每个时间任务生成了200个高质量问答对。

特点

该数据集的核心特色在于其全面覆盖了从感知到认知的广泛时间理解技能，包括动作序列、物体交互、场景转换、反事实推理等20个极具挑战性的任务。所有任务均被设计为无法通过单帧图像有效解决，从而精准评估模型对动态视频中时间演化的理解能力。此外，MVBench依托于11个涵盖室内外、第一人称与第三人称等多样场景的公开基准，确保了评估的泛化性。其自动生成的多项选择格式结合真实标注，有效避免了LLM评分偏差，保障了评估的公正性与准确性。

使用方法

使用MVBench时，研究者需将待评估的多模态大语言模型（MLLM）在给定的视频输入上运行，并根据精心设计的系统提示（强调关注人物动作、物体运动等时间线索）来回答多项选择问题。模型需从3至5个选项中选出最佳答案，其输出通过简洁的答案提示（如“Best Option: (”）进行精确提取，从而实现100%的选项匹配率。最终以准确率作为核心指标，全面衡量模型在20个时间任务上的表现，特别适合用于诊断现有MLLM在时间感知与认知方面的不足。

背景与挑战

背景概述

随着多模态大语言模型（MLLMs）的迅猛发展，对其理解能力的评估成为研究热点。然而，现有基准多聚焦于静态图像的空间感知，忽视了视频中至关重要的时间动态理解。为填补这一空白，中国科学院深圳先进技术研究院、上海人工智能实验室等机构的研究团队于2023年提出了MVBench（Multi-modal Video Understanding Benchmark），由Kunchang Li、Yali Wang等核心人员主导。该基准通过创新的静态到动态任务定义方法，系统性地衍生出20项视频理解任务，涵盖从感知到认知的广泛时间技能。MVBench利用公开视频标注自动生成多项选择问答，大幅降低了人工成本，并确保了评估的公平性与准确性。其影响力在于为MLLMs的时间理解能力提供了全面、可靠的评测平台，推动了视频理解领域的发展。

当前挑战

MVBench所面临的挑战主要体现在两个层面。在领域问题层面，现有MLLMs在时间理解上表现远未令人满意，多数模型在动作预测、位置追踪、计数等动态任务上近乎随机猜测，暴露出模型在感知时间演化、处理序列事件方面的根本性短板。在构建过程中，挑战同样严峻：需要将静态图像任务转化为动态视频任务，确保每个任务无法通过单帧解决；需从11个公开数据集中自动生成高质量的多项选择问答，平衡问题难度与视频时长，并处理不同数据源的格式差异；还需设计有效的提示策略，以引导模型关注时序信息并准确输出选项，避免评估偏差。这些挑战共同构成了MVBench在构建与评测中的核心难点。

常用场景

经典使用场景

MVBench作为一个全面的多模态视频理解基准，其核心经典使用场景在于系统性地评估多模态大语言模型在动态视频任务中的时序理解能力。该基准通过独创的“静态到动态”方法，将传统的静态图像任务（如物体位置、属性识别）转化为20项富有挑战性的视频任务，涵盖从感知到认知的广泛时序技能，例如动作序列预测、移动方向判断、场景转换识别和反事实推理。这些任务均无法通过单帧图像有效解决，从而精准衡量模型对视频中时间演化的捕捉与推理水平。

实际应用

在实际应用中，MVBench所评估的时序理解能力直接服务于视频内容分析、人机交互和自动化监控等关键领域。例如，动作序列和动作预测任务可用于智能安防中的异常行为检测；场景转换识别与移动方向判断能辅助自动驾驶系统理解环境动态；而反事实推理和情节推理则有助于开发更智能的视频问答助手和内容推荐引擎。通过MVBench的引导，开发者能够针对性地优化模型的时序感知能力，从而在视频摘要、事件定位和长视频理解等现实场景中实现更精准、更鲁棒的性能表现。

衍生相关工作

MVBench的提出催生了一系列重要的衍生研究工作。最直接的是其配套的强基线模型VideoChat2，该模型通过渐进式多模态训练和多样化指令微调数据，在MVBench上以超过15%的准确率领先当时顶尖模型，并刷新了视频对话和零样本问答的多项纪录。此外，MVBench的自动化QA生成范式和任务定义方法为后续基准设计提供了新思路，启发了如FunQA、Perception Test等针对特定时序能力（如意外事件理解、长期视频推理）的深入研究，推动了多模态大模型在视频理解领域向着更全面、更精细的方向发展。