q-future/q-bench2

本数据集是针对低级视觉多模态基础模型的基准测试集，涵盖从单张图像到成对图像的任务。数据集包含多个jsonl文件，每个文件包含图像路径、问题、候选答案和正确答案（或空响应）。图像路径由前缀、两张图像名和_cat_连接组成。数据集还提供了所有单张图像和拼接图像的存储结构，并指导用户如何提交自己的多模态语言和语言模型(MLLM)进行测试。

原始信息汇总

数据集概述

数据集名称

• A Benchmark for Multi-modal Foundation Models on Low-level Vision: from Single Images to Pairs

数据集结构

• q-bench2-a1-dev.jsonl: 包含 img_path, question, answer_candidates, correct_answer
• q-bench2-a1-test.jsonl: 包含 img_path, question, answer_candidates, 不包含 correct_answer
• q-bench2-a2.jsonl: 包含 img_path, empty response

图像路径组织

• 图像路径格式为 prefix + img1 + _cat_ + img2 + .jpg
• 示例：img_path 为 "llvisionqa_compare_dev\00079.jpg_cat_09769.jpg.jpg"，则 prefix 为 "llvisionqa_compare_dev"，img1 为 "00079.jpg"，img2 为 "09769.jpg"

图像文件结构

• all_single_images: 所有单张图像
• llvisionqa_compare_dev: perception-compare 任务的 dev 子集的拼接图像
• llvisionqa_compare_test: perception-compare 任务的 test 子集的拼接图像
• lldescribe_compare: description-compare 任务的拼接图像

提交格式

• Perception-compare 任务 (a1): 组织 jsonl 文件为 "q-bench2-a1-test_(YOUR_MLLM_NAME).jsonl"，结构与 "q-bench2-a1-dev.jsonl" 相同
• Description-compare 任务 (a2): 完成 "q-bench2-a2.jsonl" 文件的空 "response"，并重命名为 "q-bench2-a2_(YOUR_MLLM_NAME).jsonl"

联系信息

• Zicheng Zhang, [e-mail]
• Haoning Wu, [e-mail]

搜集汇总

数据集介绍

构建方式

Q-Bench2 是一个面向多模态基础模型在低级视觉任务中表现评估的基准数据集，其构建基于对单张图像与图像对的双重考量。数据集以 JSONL 格式组织，包含三个子集：q-bench2-a1-dev 与 q-bench2-a1-test 分别用于感知比较任务的开发与测试，前者提供了图像路径、问题、候选答案及正确标注，后者则隐去正确答案以支持评测；q-bench2-a2 则面向描述比较任务，仅提供图像路径与空响应字段。图像路径采用前缀、图像1、分隔符“_cat_”与图像2拼接而成的命名规则，便于程序化解析。单张图像统一存放于 all_single_images 目录，而拼接后的图像则按任务类型分别存储于 llvisionqa_compare_dev、llvisionqa_compare_test 与 lldescribe_compare 文件夹中，从而支持多种低级视觉任务的灵活调用。

特点

该数据集的核心特点在于其专门针对低级视觉任务设计，弥补了现有多模态基准对纹理、噪声、模糊等底层感知能力评估的不足。Q-Bench2 不仅涵盖单图像感知问题，还创新性地引入图像对比较任务，使模型需在两张图像之间进行细微差异的判别与描述，从而更全面地检验其对低级视觉特征的敏感性。数据集分为感知比较与描述比较两大任务，前者侧重多项选择式的客观判断，后者则要求模型生成自由形式的文本描述，覆盖了封闭式与开放式两种评估范式。此外，测试子集刻意隐藏正确答案，要求用户提交模型输出后由作者进行统一评分，确保了评测过程的公正性与标准化。

使用方法

使用 Q-Bench2 时，首先需从提供的百度网盘链接下载 all_single_images 及各类拼接图像文件，并解压至本地目录。对于感知比较任务中的开发集，可直接利用 JSONL 文件中的 img_path、question 与 answer_candidates 字段进行模型推理，并通过 correct_answer 验证性能；测试集则需按相同结构生成包含模型预测答案的 JSONL 文件，命名为 q-bench2-a1-test_(模型名).jsonl。对于描述比较任务，需补全 q-bench2-a2.jsonl 中的空 response 字段，并重命名为 q-bench2-a2_(模型名).jsonl。图像解析可借助提供的 get_img_names 函数，通过分割路径字符串获取单张图像文件名，进而加载对应像素数据。最终将生成的提交文件发送给论文第一作者以获取官方评测结果。

背景与挑战

背景概述

在计算机视觉与多模态学习领域，低级视觉任务（如图像质量评估、失真感知与对比分析）始终是衡量多模态基础模型理解能力的关键维度。2024年，由上海交通大学与南洋理工大学研究团队联合提出的Q-Bench2基准数据集，旨在系统性地评估多模态大语言模型在低级视觉场景下的表现，从单张图像延伸至图像对比较任务。该数据集由Zicheng Zhang与Haoning Wu等学者主导创建，依托于其发表于arXiv的论文《A Benchmark for Multi-modal Foundation Models on Low-level Vision: from Single Images to Pairs》。Q-Bench2通过设计感知比较与描述比较两类任务，填补了现有基准对低级视觉理解评估的空白，为多模态模型的细粒度视觉能力研究提供了标准化测试平台，对推动模型在真实世界图像质量感知方面的进步具有重要影响力。

当前挑战

Q-Bench2所面临的挑战涵盖领域问题与构建过程两个层面。在领域问题层面，多模态模型在低级视觉任务中常遭遇感知模糊性，例如对图像失真程度、纹理差异或色彩偏移的细微判别，传统分类或生成式评估难以捕捉模型对低级特征的敏感度，而Q-Bench2通过图像对比较范式强化了这一评估难度，要求模型在缺乏显式标签的开放场景下完成精准对比。在构建过程中，数据集的图像来源需兼顾多样性，涵盖合成失真与真实拍摄退化，同时确保图像对间差异的显著性以避免歧义；此外，JSONL文件结构中的路径解析与图像拼接处理增加了数据预处理复杂度，而测试子集缺失正确答案的设计则对模型的自适应推理能力提出了更高要求，这些均构成了数据集开发与应用的实质性挑战。

常用场景

经典使用场景

Q-Bench2数据集专注于多模态基础模型在低级视觉任务中的评估，尤其针对单图像与图像对的理解能力。经典使用场景包括设计感知比较（perception-compare）与描述比较（description-compare）任务，通过多模态大语言模型对图像质量、失真类型、纹理细节等低级属性进行判别与描述。该基准测试通过结构化JSONL文件组织模型输入，要求模型在候选答案中选出正确选项或生成自由文本描述，从而系统性地衡量模型对视觉低级特征的理解深度。

实际应用

在实际应用中，Q-Bench2可服务于图像质量自动评估系统的开发与优化，例如在摄影后期处理、安防监控图像增强、医学影像诊断等场景中，辅助模型对图像清晰度、噪声水平、色彩保真度等指标进行精准判别。此外，该基准还可用于验证多模态模型在图像检索、视觉问答等下游任务中，对低级视觉信息的利用效率，从而指导模型架构的改进与训练策略的调整。

衍生相关工作

Q-Bench2衍生出一系列经典工作，包括基于其任务设计扩展的多模态低级视觉评估框架，如将图像对比较任务推广至视频序列的时序质量评估；以及利用其数据构造的专用训练集，用于微调多模态模型以提升低级视觉感知能力。此外，该基准还催生了针对模型视觉注意力机制的分析研究，探索基础模型如何融合图像全局与局部特征进行低级属性判别，为构建更鲁棒的视觉感知系统提供了理论支撑。