ground-truth-mmmu-pro-vision-sampling-500

该数据集包含三个配置，专为视觉语言模型（VLM）的训练或评估设计。每个配置对应不同的模型或生成模式，包括Qwen3-VL-2B-Instruct、Qwen3-VL-2B-Thinking和Qwen3-VL-30B-A3B-Instruct。数据由多模态样本构成，每个样本包含文本问题（question）、图像列表（images）、参考答案（ref_answer）、类别标签（category），以及模型处理相关的字段，如输入标记（input_ids）、生成文本（generated_texts）、生成模型路径（generation_model_name_or_path）等。数据规模方面，Qwen3-VL-2B-Instruct配置有300个训练样本，Qwen3-VL-2B-Thinking有454个，Qwen3-VL-30B-A3B-Instruct有404个。数据集适用于视觉问答、多模态指令跟随、文本生成等任务，并可能用于模型性能比较或微调。

This dataset includes three configurations designed for the training or evaluation of vision-language models (VLMs). Each configuration corresponds to different models or generation modes, such as Qwen3-VL-2B-Instruct, Qwen3-VL-2B-Thinking, and Qwen3-VL-30B-A3B-Instruct. The data consists of multimodal samples, each containing a text question, a list of images, a reference answer, a category label, and fields related to model processing, such as input tokens, generated texts, and the generation model path. In terms of data scale, the Qwen3-VL-2B-Instruct configuration has 300 training samples, Qwen3-VL-2B-Thinking has 454, and Qwen3-VL-30B-A3B-Instruct has 404. The dataset is suitable for tasks like visual question answering, multimodal instruction following, and text generation, and may be used for model performance comparison or fine-tuning.

原始信息汇总

数据集概述：skymizer/ground-truth-mmmu-pro-vision-sampling-500

该数据集是 MMMU-Pro Vision 数据集的一个子集，采样了500个样本，并包含由不同模型生成的推理结果。数据集包含四个配置，分别对应不同的模型及其推理模式。

数据集配置

数据集包含以下四个配置，每个配置仅包含一个 train 分割：

配置名称	样本数量	数据集大小（字节）	下载大小（字节）
Qwen3-VL-2B-Instruct	300	313,319,317	312,350,737
Qwen3-VL-2B-Thinking	454	505,125,710	496,891,753
Qwen3-VL-30B-A3B-Instruct	404	395,966,008	394,288,893
Qwen3-VL-30B-A3B-Thinking	494	521,484,114	517,166,050

数据集特征

所有四个配置共享相同的特征结构，具体如下：

字段名	数据类型	描述
source	string	数据来源
item_id	string	项目唯一标识符
origin_id	int64	原始数据ID
sample_seed	int64	采样随机种子
question	string	问题文本
images	list of image	关联的图像列表
num_images	int32	图像数量
ref_answer	string	参考答案
category	string	问题类别
input_ids	list of int64	模型输入的token ID序列
input_tokens_len	int64	输入token长度
generated_texts	string	模型生成的文本
generated_tokens_len	int64	生成文本的token长度
n_prefill_tokens	int64	预填充token数量
seed	int64	随机种子
labels	list of int64	标签序列
image_fingerprint	string	图像指纹
image_processor_config	string	图像处理器配置
image_processor_config_hash	string	图像处理器配置哈希值
sum_vision_tokens	int64	视觉token总数
max_vision_tokens	int64	最大视觉token数
generation_model_name_or_path	string	用于生成文本的模型名称或路径
generation_enable_thinking	null	是否启用思考模式（该字段值为null）

数据文件

每个配置的数据文件均存储在对应的名称目录下，文件名模式为 train-*。例如，Qwen3-VL-2B-Instruct 配置的数据文件位于 Qwen3-VL-2B-Instruct/train-*。

搜集汇总

数据集介绍

构建方式

该数据集名为ground-truth-mmmu-pro-vision-sampling-500，其构建基于对MMMU-Pro基准测试中视觉问答样本的精心筛选与模型响应采样。数据集包含四个配置，分别对应Qwen3-VL-2B-Instruct、Qwen3-VL-2B-Thinking、Qwen3-VL-30B-A3B-Instruct和Qwen3-VL-30B-A3B-Thinking四种模型变体。每个配置下，每条样本均保留了原始问题、参考答案、图像信息及模型生成的文本，并记录了输入输出令牌长度、预填充令牌数、视觉令牌统计等元数据。此外，样本还包含了图像指纹、图像处理器配置及其哈希值，以及生成模型的路径与思考模式标志。数据集中每个配置均以单一训练分片形式存在，样本数量从300到494不等，确保了在不同模型规模与推理模式下的多样性。

特点

该数据集的核心特点在于其多维度的细粒度标注与丰富的元信息。每个样本不仅包含视觉问答任务所需的基本元素——问题、多张图像和标准答案，还提供了模型在推理过程中产生的完整生成文本、令牌长度分布及视觉令牌的聚合统计。特别地，数据集区分了指令跟随与思考两种生成模式，使得研究者能够对比分析模型在有无显式推理步骤下的表现差异。图像指纹与处理器配置的哈希值确保了视觉输入的可复现性，而随机种子的记录则支持采样过程的追溯。样本覆盖了多种类别，整体规模虽小但信息密度高，适用于评估多模态大语言模型在复杂视觉推理任务上的鲁棒性与一致性。

使用方法

该数据集可通过HuggingFace Datasets库直接加载，用户需指定具体配置名称以选择对应的模型变体，例如使用'Qwen3-VL-2B-Instruct'加载指令跟随模式下的样本。每个配置均只包含一个训练分片，数据文件路径遵循统一的命名模式。加载后，每条样本以字典形式呈现，包含原始文本、图像列表及所有预计算特征。研究者可利用'generated_texts'字段分析模型输出，结合'ref_answer'评估生成质量；通过'input_tokens_len'与'generated_tokens_len'分析计算开销；利用'sum_vision_tokens'与'max_vision_tokens'研究视觉编码的效率。数据集还支持基于'seed'字段进行确定性重采样，便于实验复现与对比研究。

背景与挑战

背景概述

多模态大语言模型（MLLMs）的迅猛发展催生了对其视觉-语言推理能力进行精细化评估的迫切需求。在此背景下，由学术界与工业界联合构建的ground-truth-mmmu-pro-vision-sampling-500数据集应运而生，其创建时间与当前前沿MLLMs（如Qwen3-VL系列）的迭代周期紧密同步。该数据集聚焦于多模态理解与推理的核心研究问题，旨在通过高质量、多粒度的标注样本，系统性地测试模型在复杂视觉场景下对指令的遵循程度与推理深度。通过采样不同配置的模型输出，涵盖从基础指令到具备思考链的范式，该数据集为评估模型在视觉感知与逻辑推理间的协同能力提供了基准，已成为推动多模态领域性能突破的关键资源。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题层面，其核心是解决多模态模型在复杂视觉问答中存在的幻觉现象与推理断裂问题，即模型难以在图文不匹配或需要多步推理的场景下维持一致的判断，且缺乏对开放式视觉问题中隐含逻辑的捕捉能力。在构建过程中，挑战集中于样本标注的一致性维护与视觉信息的有效压缩，具体包括：如何确保不同模型配置生成的文本与视觉令牌（vision tokens）在语义上对齐，以及如何在有限采样种子（sample_seed）下保持视觉指纹（image_fingerprint）的稳定性，从而避免因视觉编码差异引入的评估噪声，实现跨模型行为的可靠对比。

常用场景

经典使用场景

该数据集面向多模态大语言模型的视觉推理能力评估与压力测试，尤其专注于跨学科、多步骤推理的复杂视觉问答场景。其经典使用方式是将真实世界中的视觉信息与结构化问题相结合，考察模型在理解图像内容、提取关键信息、并依据上下文进行逻辑推导方面的综合表现。研究者在评估过程中，通过对比模型生成的答案与标准参考答案，能够系统性地分析模型在细粒度视觉感知、多图像关联推理、以及领域知识迁移上的优势与不足。这一评估范式已成为衡量多模态模型智能水平的核心基准之一。

衍生相关工作

围绕该数据集衍生了一系列具有影响力的研究工作，涵盖了视觉语言模型的推理增强、思维链引导的多模态问答、以及训练数据质量对推理表现的影响分析等方向。典型工作包括基于该数据集构建的视觉推理评测榜单，以及围绕“思考型”多模态模型（如Qwen3-VL-Thinking系列）的推理行为分析，这些工作深入探索了在模型生成过程中引入显式推理步骤对性能的提升作用。此外，还有研究利用该数据集的标注信息，开发了针对多图像、多轮对话场景的语义对齐方法。这些衍生成果共同丰富了多模态推理的理论体系与工程实践。

数据集最近研究

最新研究方向

该数据集聚焦于多模态大语言模型（MLLM）在复杂视觉推理任务中的行为分析，特别是针对Qwen3-VL系列不同参数量级（2B与30B-A3B）及推理模式（Instruct与Thinking）的对比研究。通过采样MMMU-Pro基准的子集，数据集系统记录了模型生成的文本、视觉令牌消耗及预填充长度等细粒度指标，为探究视觉-语言模型中思维链推理与视觉令牌效率之间的权衡提供了关键依据。这一方向紧密关联当前多模态AI领域的热点——如何平衡推理深度与计算成本，推动更高效、可解释的视觉语言系统发展。