ground-truth-mmmu-pro-vision

该数据集专为Qwen3-VL系列视觉语言模型的训练或评估设计，包含三个配置：Qwen3-VL-2B-Instruct、Qwen3-VL-4B-Instruct和Qwen3-VL-4B-Thinking，分别针对不同模型规模和推理模式。数据集采用多模态格式，每个样本包含文本问题（question）、至少一张图像（以图像列表形式存储，由num_images指示数量）、参考答案（ref_answer）、类别标签（category），以及由指定生成模型（generation_model_name_or_path）产生的文本（generated_texts）。此外，样本还包含丰富的元数据和控制信息，如唯一标识符（item_id, origin_id）、模型输入与输出的token化表示及长度（input_ids, input_tokens_len, generated_tokens_len, labels）、图像处理配置与指纹、视觉token统计（sum_vision_tokens, max_vision_tokens）、预填充token数（n_prefill_tokens），以及是否启用思维链推理的标志（enable_thinking）。数据规模方面，Qwen3-VL-2B-Instruct配置包含1020个训练样本（约992MB），Qwen3-VL-4B-Instruct包含1238个样本（约1.16GB），Qwen3-VL-4B-Thinking包含1668个样本（约1.69GB）。该数据集适用于视觉问答（VQA）、视觉语言指令跟随、模型响应生成质量评估，以及思维链推理能力的研究与微调任务。

This dataset includes three configurations designed for training or evaluating the Qwen3-VL series of visual-language models, each corresponding to different model scales and reasoning modes: Qwen3-VL-2B-Instruct, Qwen3-VL-4B-Instruct, and Qwen3-VL-4B-Thinking. It is in a multimodal format, with each sample containing a text question, at least one image (the images field is a list of images, with num_images indicating the quantity), a reference answer (ref_answer), a category label (category), and text generated by a specified generation model (generation_model_name_or_path) in generated_texts. Additionally, samples include rich metadata and control information: unique identifiers (item_id, origin_id), tokenized representations and lengths of model inputs and outputs (input_ids, input_tokens_len, generated_tokens_len, labels), image processing configurations and fingerprints, visual token statistics (sum_vision_tokens, max_vision_tokens), the number of prefill tokens (n_prefill_tokens), and a flag indicating whether chain-of-thought reasoning is enabled (enable_thinking). In terms of data scale, the Qwen3-VL-2B-Instruct configuration contains 1020 training samples (approximately 992MB), Qwen3-VL-4B-Instruct contains 1238 samples (approximately 1.16GB), and Qwen3-VL-4B-Thinking contains 1668 samples (approximately 1.69GB). This dataset is suitable for visual question answering (VQA), visual-language instruction following, evaluation of model response generation quality, and research and fine-tuning tasks related to chain-of-thought reasoning capabilities.

原始信息汇总

数据集概述

该数据集名为 ground-truth-mmmu-pro-vision，由 elichan-skymizer 提供，是一个用于多模态大语言模型（特别是 Qwen3-VL 系列）训练的视觉问答数据集。数据来源于 MMMU-Pro 基准的 ground truth 生成结果。

数据集配置

数据集包含三个子配置，分别对应不同的模型版本与推理模式：

• Qwen3-VL-2B-Instruct: 基于 Qwen3-VL 2B Instruct 模型生成。
• Qwen3-VL-4B-Instruct: 基于 Qwen3-VL 4B Instruct 模型生成。
• Qwen3-VL-4B-Thinking: 基于 Qwen3-VL 4B Thinking 模型生成（启用思考模式）。

每个配置均只有一个 train 划分。

数据规模

配置名称	样本数	数据集大小	下载大小
Qwen3-VL-2B-Instruct	1,020	991,996,095 字节	989,951,963 字节
Qwen3-VL-4B-Instruct	1,238	1,164,198,551 字节	1,161,364,506 字节
Qwen3-VL-4B-Thinking	1,668	1,692,206,819 字节	1,670,487,069 字节

特征字段

所有配置共享相同的特征字段，每个样本包含以下信息：

• source: 数据来源标识（字符串）。
• item_id: 样本唯一标识（字符串）。
• origin_id: 原始数据 ID（整数）。
• sample_seed: 采样种子（整数）。
• question: 问题文本（字符串）。
• images: 图片列表（单张或多张图片，格式为 image）。
• num_images: 图片数量（整数）。
• ref_answer: 参考答案（字符串）。
• category: 问题类别（字符串）。
• input_ids: 模型输入 token ID 列表（整数列表）。
• input_tokens_len: 输入 token 长度（整数）。
• generated_texts: 模型生成的文本（字符串）。
• generated_tokens_len: 生成 token 长度（整数）。
• n_prefill_tokens: 预填充 token 数（整数）。
• seed: 随机种子（整数）。
• labels: 标签 token ID 列表（整数列表）。
• image_fingerprint: 图像指纹（字符串）。
• image_processor_config: 图像处理器配置（字符串）。
• image_processor_config_hash: 图像处理器配置哈希（字符串）。
• sum_vision_tokens: 视觉 token 总数（整数）。
• max_vision_tokens: 最大视觉 token 数（整数）。
• generation_model_name_or_path: 生成模型的名称或路径（字符串）。
• enable_thinking: 是否启用思考模式（布尔值）。

搜集汇总

数据集介绍

构建方式

该数据集是面向多模态大语言模型（MLLM）评估的高质量视觉推理基准，名为ground-truth-mmmu-pro-vision。其构建基于MMMU-Pro的严谨框架，通过多模型推理与标注整合，生成包含图像、问题、参考答案及模型生成文本的完备样本。数据集中每条记录均涵盖源标识、图像指纹、视觉令牌统计及模型配置等精细字段，确保了样本的可追溯性与实验复现性。HuggingFace上的发布版本针对Qwen3-VL系列模型（包括2B-Instruct、4B-Instruct及4B-Thinking）分别提供了超过千条的样本，如4B-Thinking配置下包含1668条训练实例，为细粒度分析不同模型的表现提供了结构化支撑。

特点

该数据集的核心特征在于其多层次、多维度的评估指标设计。每条样本不仅包含原始的视觉问答对（questions与ref_answer），还完整记录了模型的生成过程，包括输入输出令牌长度、预填充令牌数及种子值，使得研究者可以深入剖析模型的推理行为与效率。尤其值得关注的是，数据集引入了'视觉令牌'（sum_vision_tokens与max_vision_tokens）的统计，为量化模型对视觉信息的处理粒度提供了独特视角。此外，'enable_thinking'字段的存在，使得用户能够直接区分模型在思考模式与非思考模式下的生成差异，从而探究预测或思维链技术在多模态场景中的效能。

使用方法

使用者可通过HuggingFace Datasets库便捷加载该数据集，采用'load_dataset'函数并指定配置名称（如'Qwen3-VL-2B-Instruct'）以获取对应模型的评估数据。数据集仅包含训练（train）拆分，适用于模型性能的线下评测与对比实验。在应用时，研究者可提取'images'字段与'question'字段作为模型输入，利用'ref_answer'作为标准答案进行答案准确率计算；同时，通过比较'generated_texts'与'ref_answer'，可评估模型的输出质量。此外，字段'n_prefill_tokens'与'generated_tokens_len'等为计算推理效率提供了途径，而'labels'和'image_fingerprint'则便于进行更复杂的分类或去重分析。

背景与挑战

背景概述

ground-truth-mmmu-pro-vision数据集是由Qwen团队于2025年构建的，旨在评估多模态大语言模型在视觉理解任务中的真实表现。该数据集以MMMU-Pro为蓝本，演化出针对不同模型变体（如Qwen3-VL-2B-Instruct、Qwen3-VL-4B-Instruct及Qwen3-VL-4B-Thinking）的精细化测试样本，核心研究问题聚焦于模型对图像与文本联合理解能力的量化评测。通过引入包含问题、图像、参考答案及生成文本在内的多维度标注，该数据集为多模态模型的鲁棒性与泛化能力提供了严谨的基准测试平台，在推动视觉语言模型研究方面具有重要影响力。

当前挑战

该数据集所解决的领域挑战在于多模态大模型对图像与文本交互联觉理解的深度评估，尤其是模型在高难度视觉问答任务中的推理与对齐能力。构建过程中的挑战主要体现在两方面：其一，需针对不同模型架构生成适配的测试配置，确保跨模型可比性；其二，图像处理参数与视觉令牌的精细管理（如sum_vision_tokens和max_vision_tokens）对数据一致性提出高要求，需要平衡计算效率与表征精度，以避免多模态信息丢失或编码冗余。

常用场景

经典使用场景

在视觉语言模型蓬勃发展的浪潮中，ground-truth-mmmu-pro-vision数据集被广泛用于评测多模态大语言模型在复杂视觉推理任务上的表现。研究者常将其作为基准测试集，通过对比模型在图像理解、逻辑推演与多轮对话等场景中的生成质量，评估模型从视觉输入到语义输出的端到端推理能力。该数据集精心构建了涵盖多学科、多类别的视觉问答样本，每个样本均附带由高级模型产生的参考答案与生成文本，使得对模型推理链条的细粒度分析成为可能。经典使用方式包括：利用数据集中图像与问题的配对关系，驱动模型生成预测结果，再通过与ref_answer的对比计算准确率或语义一致性分数，进而诊断模型在特定视觉概念或逻辑结构上的薄弱环节。

实际应用

在实际应用层面，该数据集所承载的评测范式已深度融入视觉语言模型的研发与迭代流程。工业界与学术界广泛利用其对新一代多模态大模型进行能力诊断，例如在模型训练的不同阶段，通过该数据集的子集快速检验模型在视觉问答、图文匹配等任务上的收敛趋势。它还被用作模型发布前的关键验证工具，确保产品版本在复杂的视觉推理场景中具备稳定且可靠的性能。此外，数据集中的结构化信息——如图像指纹、视觉编码器配置及生成模型路径——为工程师提供了可复现的评测环境，从而在智能客服、远程教育、医学影像解读等实际系统中，帮助筛选出兼具准确性与鲁棒性的视觉理解引擎。

衍生相关工作

基于ground-truth-mmmu-pro-vision，研究者已衍生出一系列重要的学术工作。一方面，该数据集被用作构建视觉推理课程学习的基础语料，通过按难度分层组织样本，引导模型逐步掌握从简单识别到复杂逻辑链的推理技能。另一方面，数据集中丰富的生成文本与标签信息激发了针对模型内在推理机制的可解释性研究，部分工作尝试通过分析模型在各类别样本上的误差模式，提出新的视觉注意力增强策略。此外，该数据集的标准评测路线已被后续工作所采纳，形成了包括多视角一致性检验、对抗性样本注入在内的扩展评估框架，进一步提升了视觉语言模型在真实世界部署中的可信度与泛化能力。