MMT-Bench

该数据集名为MMT-Bench，旨在评估多模态大型语言模型（MLLMs）的通用能力。该基准测试强调了提示敏感性和定制化对于准确评估模型性能的重要性。在规模方面，其子集MMT-S包含了跨越19个类别的83项任务，旨在对多模态模型在各类任务中的能力进行评估。

This dataset, named MMT-Bench, is designed to evaluate the general capabilities of Multimodal Large Language Models (MLLMs). This benchmark highlights the significance of prompt sensitivity and customization for the accurate assessment of model performance. In terms of scale, its subset MMT-S contains 83 tasks spanning 19 categories, aiming to assess the capabilities of multimodal models across various tasks.

搜集汇总

数据集介绍

构建方式

MMT-Bench的构建始于对32个核心元任务的精心界定，这些元任务通过头脑风暴与去重筛选得出。每个元任务进一步细分为多个子任务，依据其是否检验基础多模态能力、是否对现有模型构成挑战以及测试样本的公开可获取性，最终遴选出162个子任务。数据收集采用高效流水线：首先基于子任务名称从网络、Paper With Code等来源广泛检索相关数据集；随后将下载的数据集统一整理为包含图像与元信息的元数据格式，为每个任务随机采样至多200个样本；最后针对特定子任务，通过人工设计规则或利用ChatGPT精心设计提示，从元数据中生成多选视觉问题与答案，确保选项具有足够的迷惑性。

特点

MMT-Bench的核心特点在于其无与伦比的任务广度与多样性。它囊括了31,325道精心策划的多选视觉问题，覆盖32个核心元任务与162个子任务，任务数量是先前基准的8.1倍。数据集包含13种图像类型，从自然场景、合成图像到深度图、医学影像等，要求模型具备解读多样化视觉输入的能力。此外，其覆盖了车辆驾驶、GUI导航、具身智能等多种多模态场景，测试了包括视觉识别、定位、推理、OCR、计数、3D感知、时间理解在内的14种能力，全面满足多任务AGI对任务广度的严苛要求。

使用方法

MMT-Bench采用多选题格式，通过OpenCompass协议评估模型性能。评估时，首先检查模型回答中是否包含选项字母，其次检查选项内容，最后使用ChatGPT进行提取。若均失败，则将模型选择设置为字母Z以避免随机分配，以准确率作为主要评价指标。该基准支持对30余种代表性LVLM进行评测，包括闭源的GPT-4V、GeminiProVision以及开源的InternVL-Chat等。通过任务图谱分析，它还能辅助发现模型的领域内与领域外任务，为多模态模型的商业化应用与持续改进提供宝贵洞见。

背景与挑战

背景概述

随着大型视觉语言模型在视觉对话、具身导航等通用多模态应用中展现出显著进展，现有评估基准因覆盖任务有限且仅测试基础能力，已难以追踪模型向多任务通用人工智能迈进的发展轨迹。为此，上海人工智能实验室联合上海交通大学、香港大学等机构的研究团队于2024年提出了MMT-Bench，这是一个旨在全面评估大型视觉语言模型在多模态多任务理解中表现的综合基准。该基准精心构建了31,325道多选题，涵盖32个核心元任务与162个子任务，涉及自动驾驶、GUI导航、具身AI等多元场景，并包含自然图像、深度图、点云、医学图像等13种图像类型。MMT-Bench通过对30个代表性模型（如GPT-4V、GeminiProVision、InternVL-Chat）的评测，揭示了当前模型在多任务智能方面的显著不足，为下一代通用多模态基础模型的发展提供了关键指引。

当前挑战

MMT-Bench所面临的挑战主要体现在两个层面。在领域问题层面，它致力于解决现有基准任务广度不足的难题，要求模型同时具备视觉识别、定位、推理、规划等14种多模态能力，并能在科学图表、医学影像、文本图像等异构视觉输入间灵活切换，这对模型的泛化性和专家知识调用能力构成了严峻考验。在构建过程中，挑战同样艰巨：需从海量公开数据集中为162个子任务逐一筛选并整理统一格式的元数据，确保每项任务样本不超过200个以维持效率；同时，需为每个样本设计高质量的多选题，通过人工规则或ChatGPT生成具有迷惑性的干扰选项，并严格避免语言先验导致的视觉信息绕过问题。此外，评测协议需兼容不同模型的输出格式，处理拒绝回答或指令理解偏差等复杂情况，确保评估的公平性与准确性。

常用场景

经典使用场景

MMT-Bench作为一项综合性多模态基准测试，其最经典的使用场景在于全面评估大型视觉语言模型（LVLMs）在多任务通用人工智能（AGI）路径上的进展。该基准测试通过囊括32个核心元任务与162个子任务，覆盖从视觉识别、定位、推理到规划等14种多模态能力，为研究者提供了一个系统性的评估框架。其独特之处在于，它不仅测试模型在自然图像上的基础能力，还涉及医学图像、点云、深度图、截图等13种图像类型，以及车辆驾驶、具身导航等复杂场景，从而能够揭示模型在域内与域外任务上的表现差异，为追踪LVLM向多任务AGI的演进提供了关键度量标准。

解决学术问题

MMT-Bench旨在解决现有评估基准任务覆盖范围有限、仅测试初级能力的问题，这些不足导致无法有效追踪LVLM的发展。通过引入大规模、多样化的任务集，该基准解决了学术研究中缺乏对LVLM多任务泛化能力进行系统性评估的难题。其意义在于，它揭示了当前顶尖模型如GPT-4V和InternVL-Chat在感知、推理和知识错误上的分布，并发现模型在视觉识别等域内任务上表现优异，但在定位、像素级感知等域外任务上存在显著短板。这一发现为学术界指明了未来模型优化的方向，即需重点提升细粒度视觉认知与空间关系理解能力。

衍生相关工作

MMT-Bench的发布催生了一系列相关经典工作。首先，其任务图谱分析方法启发了后续研究利用任务向量与聚类技术进行模型能力诊断，如通过层级聚类识别域外任务，从而指导LVLM的定向微调与数据增强。其次，该基准对多图像提示与视觉提示的深入分析，推动了多模态模型在视频理解与交互式分割任务上的研究，例如BLIP2在多图像设置下的性能提升揭示了统一多模态表征学习的潜力。此外，MMT-Bench的错误分析框架被广泛借鉴，用于系统性地分类模型在感知、推理与知识上的缺陷，为开发更鲁棒的LVLM提供了方法论基础。