MultiModal Robustness benchmark (MMR)

MultiModal Robustness benchmark (MMR)是由北京人工智能研究院创建的一个多模态鲁棒性基准数据集，包含600条精心标注的正负问题对，涵盖12个类别。该数据集旨在评估多模态大型语言模型（MLLMs）在视觉理解和推理方面的能力，特别是在面对引导性问题时的鲁棒性。数据集通过提取图像中的视觉信息，如文本、对象、属性等，生成正负样本，以增强模型的理解和鲁棒性。MMR数据集的应用领域主要集中在提升MLLMs在复杂视觉场景下的准确性和稳定性，解决模型在面对误导性问题时可能出现的错误回答问题。

The MultiModal Robustness Benchmark (MMR) is a multimodal robustness benchmark dataset developed by the Beijing Academy of Artificial Intelligence. It contains 600 carefully annotated positive and negative question pairs across 12 distinct categories. This dataset is designed to evaluate the visual understanding and reasoning capabilities of multimodal large language models (MLLMs), with a particular focus on their robustness against leading questions. It generates positive and negative samples by extracting visual information such as text, objects, and attributes from images to enhance model understanding and robustness. The primary applications of the MMR dataset focus on improving the accuracy and stability of MLLMs in complex visual scenarios, and addressing the issue of erroneous responses generated by models when faced with misleading questions.

搜集汇总

数据集介绍

构建方式

在构建多模态鲁棒性基准（MMR）时，研究团队采用了一种系统化的人工标注流程，旨在全面评估多模态大语言模型（MLLMs）对视觉内容的理解能力及其对诱导性问题的鲁棒性。该基准包含300个正向问题和300个负向问题，覆盖字符、属性和上下文三个层次，共计12个具体类别。每个样本均经过精心设计，包含配对的正向与负向问题，并辅以四个简洁选项，确保模型无法通过猜测获得正确答案。这一构建过程不仅依赖于多样化的图像来源，还通过严格的标注准则保证了数据的一致性与可靠性，为后续的模型评估奠定了坚实基础。

特点

MMR基准的显著特点在于其独特的配对问题设计，能够精准区分模型对视觉内容的理解能力与对诱导性问题的脆弱性。该基准引入了误导率（MR）和鲁棒性准确率（RA）两项创新性评估指标，前者量化模型在理解视觉内容后仍被负向问题误导的概率，后者则反映模型在对抗干扰时的实际理解水平。此外，基准覆盖了从字符识别到上下文推理的广泛问题类型，确保了评估的全面性与层次性。这些特点使得MMR能够有效揭示现有MLLMs在鲁棒性方面的不足，为模型改进提供了明确方向。

使用方法

使用MMR基准时，研究者需将待评估的多模态大语言模型置于统一的测试框架下，输入包含图像及其配对问题的样本，并记录模型对每个问题的回答。通过计算误导率与鲁棒性准确率，可以系统分析模型在理解视觉内容与抵抗诱导干扰方面的表现。该基准不仅适用于闭源与开源模型的横向比较，还可用于指导模型训练数据的优化。例如，基于MMR的评估结果，研究者可以针对性地构建包含配对正负样本的训练集（MMR-data），通过指令微调显著提升模型的鲁棒性，从而推动多模态理解技术的实际应用。

背景与挑战

背景概述

随着多模态大语言模型在视觉理解与推理任务中展现出卓越能力，其评估体系的构建成为学术界关注的焦点。2024年，北京人工智能研究院联合香港科技大学（广州）、北京邮电大学等机构的研究团队提出了多模态鲁棒性基准（MultiModal Robustness benchmark, MMR），旨在系统评估模型在面对诱导性问题时的稳健性。该基准的核心研究问题在于揭示模型在正确理解视觉内容后，仍可能因问题表述的误导而产生错误回答的现象，从而弥补现有评估方法仅以答案准确性衡量模型能力的不足。MMR通过人工标注的12个类别、300对正负问题样本，为多模态模型的鲁棒性提供了量化标准，对推动模型在真实场景中的可靠应用具有重要影响。

当前挑战

MMR基准所针对的领域挑战在于，现有多模态大语言模型在视觉问答任务中常表现出“理解正确但回答错误”的脆弱性，即模型虽能准确解析图像内容，却易受问题中细微误导干扰而输出错误答案。这一现象暴露了当前模型在对抗性语境下的鲁棒性缺陷，传统评估体系难以有效捕捉此类问题。在数据集构建过程中，研究团队面临的主要挑战包括：如何设计具有语义干扰性的成对正负问题，以确保评估的全面性与公平性；如何通过人工标注保证问题类别的多样性与质量，涵盖字符、属性及上下文三个层次；以及如何建立科学的评估指标（如误导率与鲁棒性准确率），以量化模型在诱导性问题下的失效概率，避免评估结果受猜测行为影响。

常用场景

经典使用场景

在评估多模态大语言模型（MLLMs）的视觉理解与推理能力时，MMR基准测试通过精心设计的成对正负问题，系统性地检验模型在面对诱导性提问时的鲁棒性。该数据集覆盖字符、属性及上下文三个层次，涵盖12种问题类型，为模型在复杂视觉问答场景中的表现提供了多维度的评估框架。其经典应用场景在于揭示MLLMs在正确理解图像内容后，仍可能因问题表述的微妙干扰而给出错误答案的现象，从而推动模型在真实交互环境中的可靠性研究。

解决学术问题

MMR基准测试主要解决了多模态评估中一个被忽视的核心问题：即传统评估方法通常假设错误答案源于视觉内容理解的不足，而忽视了模型对诱导性问题的脆弱性。该数据集通过引入误导率（MR）和鲁棒性准确率（RA）等新颖指标，量化了MLLMs在理解视觉内容的前提下被误导的倾向，从而区分了模型的理解能力缺陷与鲁棒性不足。这一工作填补了多模态模型评估领域的空白，为后续研究提供了更精细的诊断工具，促进了模型抗干扰能力的提升。

衍生相关工作

MMR基准测试的推出激发了多模态鲁棒性研究的一系列衍生工作。例如，基于其成对正负样本生成框架，后续研究可扩展至更广泛的对抗性样本构建，如针对视觉幻觉的细粒度评估。同时，该数据集与LRV、LLaVA等现有工作的对比分析，推动了多模态指令调优数据生成方法的优化，特别是在负样本设计与信息提取方面。这些衍生工作共同促进了多模态模型评估范式的演进，为构建更稳健、可信的视觉语言系统奠定了理论基础。