BenchLMM

BenchLMM是由南洋理工大学开发的用于评估大型多模态模型在跨风格视觉能力上的基准数据集。该数据集包含500张图像，涵盖艺术图像风格、成像传感器风格和应用风格三大类，每类下又细分为五个子风格。数据集旨在解决现有模型在处理不同风格图像时的性能下降问题，通过提供多样化的视觉分布变化，帮助开发更智能和多才多艺的大型多模态模型。BenchLMM is a benchmark dataset developed by Nanyang Technological University for evaluating the cross-style visual capabilities of large multimodal models. This dataset consists of 500 images, covering three major categories: artistic image styles, imaging sensor styles, and application styles, with five sub-styles under each category. It aims to address the performance degradation issue of existing models when processing images of different styles, and assists in developing more intelligent and versatile large multimodal models by providing diverse variations in visual distributions.

搜集汇总

数据集介绍

构建方式

BenchLMM通过重新组织公开数据集并为其标注视觉问答（VQA）注释来构建。在艺术风格维度，从COCO-O数据集中系统采样了卡通、绘画、素描、手工和纹身五种风格各100张图像，共500张。在传感器风格维度，收集了红外图像200张，低能X光图像200张，以及高能X光、磁共振成像和计算机断层扫描图像各200张。在应用风格维度，整合了遥感、自动驾驶、智能体动作预测和缺陷检测四个领域的图像，分别来自DOTA、BDD100K、Domestic Robot、Open Game和Defect Detection等数据集，并设计了针对性的问答对。

特点

BenchLMM的独特之处在于首次系统性地评估大型多模态模型在三种视觉分布偏移下的表现：艺术风格（如卡通、绘画）、传感器风格（如红外、X光）和应用风格（如自动驾驶、遥感）。实验揭示，现有模型在处理非普通风格图像时普遍性能下降，且模型在普通风格上的优势并不能保证在其他风格上的卓越表现。此外，该基准还引入了错误反思能力评估，发现如GPT-4V等强模型能深入分析错误原因，而弱模型仅复述正确信息。

使用方法

BenchLMM的使用方法包括直接评估和风格提示增强（SPE）两种方式。直接评估时，研究者将不同风格的图像与对应问题输入模型，通过ChatGPT API比较模型输出与真实答案的相似度，计算准确率。SPE方法则通过在问题前添加‘先判断图像风格再回答问题’的提示，无需额外训练即可提升模型性能，尤其在艺术和传感器风格上效果显著。该基准已开源，支持对GPT-4V等商业模型及LLaVA、InstructBLIP等开源模型的全面评估。

背景与挑战

背景概述

近年来，大型多模态模型（LMMs）如GPT-4V和LLaVA在视觉推理领域取得了令人瞩目的进展，其能力在常见图像风格下已得到广泛验证。然而，这些模型在面对实际应用中不可避免的风格迁移时，其鲁棒性仍是一个尚未被深入探索的盲区。为填补这一空白，南洋理工大学、悉尼科技大学等机构的研究人员于2023年提出了BenchLMM基准，旨在系统评估LMMs在艺术风格、成像传感器风格及应用风格三种跨风格场景下的视觉推理能力。该基准通过整合COCO-O、SiXray-D、DOTA等公开数据集，并重新标注问答对，构建了涵盖15种子风格的多样化评估体系，揭示了现有LMMs在非普通风格下性能显著下降的关键问题，为开发更智能、更通用的多模态模型提供了重要参考。

当前挑战

BenchLMM所应对的核心挑战在于现有LMMs对常见摄影风格存在过度拟合，难以泛化至艺术风格（如卡通、素描）、传感器风格（如红外、X射线）及应用风格（如自动驾驶、缺陷检测）等视觉分布偏移场景。实验表明，即便如GPT-4V这类商业模型，在非普通风格下的准确率也大幅下滑，且模型在普通风格上的优异表现并不保证其在其他风格上的优势。此外，基准构建过程中面临多源异构数据的整合与统一标注难题，例如需为医疗影像设计专业问答对、为自主驾驶场景定义领域特定的推理任务，同时还需确保不同风格数据量的均衡性与代表性，以支撑公平可靠的跨风格能力评估。

常用场景

经典使用场景

BenchLMM作为首个系统性评估大型多模态模型（LMMs）跨风格视觉能力的基准，其经典使用场景在于衡量模型面对艺术风格（如卡通、绘画、素描）、传感器风格（如红外、X光、MRI）以及应用风格（如遥感、自动驾驶、缺陷检测）等多样化视觉分布偏移时的鲁棒性。研究者通过该基准可全面揭示LMMs在非日常图像风格下的推理退化现象，从而为模型泛化能力的提升提供关键参考。

实际应用

在实际应用中，BenchLMM可用于检验LMMs在安防、医疗、自动驾驶等高风险领域中的可靠性。例如，在X光安检场景中评估模型识别违禁品的能力，或在红外夜间监控中判断行人检测的准确性。此外，该基准为工业缺陷检测、遥感图像分析等专业任务提供了标准化测试工具，助力部署更稳健的多模态智能系统。

衍生相关工作

BenchLMM衍生出多项经典工作，包括基于风格先验的Style Prompt Enhancement（SPE）方法，该无需训练的策略通过引导模型先识别图像风格再回答问题，显著提升了LLaVA-1.5等模型的跨风格推理性能。此外，错误反思能力分析揭示了GPT-4V等更强模型能自我诊断错误原因，为开发具备元认知能力的下一代LMMs提供了新方向，并催生了关于可解释性多模态推理的后续研究。