ground-truth-mmmu-pro-standard-10-sampling-500

该数据集是一个专为Qwen3-VL系列视觉语言模型设计的指令跟随和思维链训练数据集，包含四个配置。每个样本均为多模态数据，由文本问题、一个或多个图像、参考答案以及由指定模型生成的文本组成。数据字段详细记录了样本的元信息（如来源、ID、类别）、输入和输出的token化序列（input_ids, labels）及其长度、视觉token的统计信息（sum_vision_tokens, max_vision_tokens）以及生成模型的相关配置。数据集规模适中，四个配置的训练集样本量分别为332、467、443和492，适用于视觉语言模型的监督微调，特别是针对指令理解和多步推理能力的训练。This dataset is designed for the Qwen3-VL series of visual language models, focusing on instruction following and chain-of-thought training, with four configurations. Each sample is multimodal, consisting of a text question, one or more images, a reference answer, and text generated by a specified model. The data fields include detailed metadata (such as source, ID, category), tokenized input and output sequences (input_ids, labels) and their lengths, visual token statistics (sum_vision_tokens, max_vision_tokens), and configurations related to the generation model. The dataset has a moderate scale, with training set sample counts of 332, 467, 443, and 492 for the four configurations. It is suitable for supervised fine-tuning of visual language models, particularly for training instruction understanding and multi-step reasoning capabilities.

原始信息汇总

数据集概述

该数据集名为 skymizer/ground-truth-mmmu-pro-standard-10-sampling-500，托管于 Hugging Face。数据集包含多个配置（config），每个配置对应一个特定的模型变体，用于评估或生成多模态理解任务的数据。数据集中包含了问题、图像、参考答案以及模型生成的文本等信息。

数据集配置

数据集包含以下四个配置，每个配置代表一个不同的模型版本：

配置名称	描述
Qwen3-VL-2B-Instruct	基于 Qwen3-VL-2B 模型的指令版本
Qwen3-VL-2B-Thinking	基于 Qwen3-VL-2B 模型的思考版本
Qwen3-VL-30B-A3B-Instruct	基于 Qwen3-VL-30B-A3B 模型的指令版本
Qwen3-VL-30B-A3B-Thinking	基于 Qwen3-VL-30B-A3B 模型的思考版本

数据集特征

每个配置（config）共享相同的特征（features）结构，具体如下：

特征名称	数据类型	描述
source	string	数据来源
item_id	string	数据项的唯一标识符
origin_id	int64	原始数据ID
sample_seed	int64	采样的随机种子
question	string	多模态问题文本
images	list of image	关联的图像列表
num_images	int32	图像数量
ref_answer	string	标准参考答案
category	string	问题类别
input_ids	list of int64	模型输入的token ID序列
input_tokens_len	int64	输入token的长度
generated_texts	string	模型生成的文本
generated_tokens_len	int64	生成文本的token长度
n_prefill_tokens	int64	预填充的token数量
seed	int64	生成时的随机种子
labels	list of int64	标签序列
image_fingerprint	string	图像指纹
image_processor_config	string	图像处理器配置
image_processor_config_hash	string	图像处理器配置的哈希值
sum_vision_tokens	int64	视觉token的总数
max_vision_tokens	int64	视觉token的最大数量
generation_model_name_or_path	string	生成模型的名称或路径
generation_enable_thinking	null	是否启用思考模式（该字段值为null）

数据集划分 (Splits)

每个配置仅包含一个 train 划分。各配置的规模和大小如下：

配置名称	划分	样本数 (Num Examples)	数据集大小 (Dataset Size)	下载大小 (Download Size)
Qwen3-VL-2B-Instruct	train	332	184,530,125 bytes	183,647,326 bytes
Qwen3-VL-2B-Thinking	train	467	255,238,137 bytes	247,011,958 bytes
Qwen3-VL-30B-A3B-Instruct	train	443	197,082,176 bytes	195,759,308 bytes
Qwen3-VL-30B-A3B-Thinking	train	492	224,639,684 bytes	221,080,583 bytes

数据文件

每个配置的数据文件存储在子目录中，文件命名模式为 train-*。

• Qwen3-VL-2B-Instruct/train-*
• Qwen3-VL-2B-Thinking/train-*
• Qwen3-VL-30B-A3B-Instruct/train-*
• Qwen3-VL-30B-A3B-Thinking/train-*

搜集汇总

数据集介绍

构建方式

该数据集ground-truth-mmmu-pro-standard-10-sampling-500聚焦于多模态大语言模型（MLLM）的评估与训练，基于MMMU-Pro基准精心构建。其构建过程围绕Qwen3-VL系列模型展开，涵盖Qwen3-VL-2B-Instruct、Qwen3-VL-2B-Thinking、Qwen3-VL-30B-A3B-Instruct和Qwen3-VL-30B-A3B-Thinking四个配置。每个配置均独立存储，每条样本包含原始问题、参考答案、图像及其指纹信息，以及模型生成文本、输入输出token长度、预填充token数等推理细节。特别地，数据集引入了样本种子（sample_seed）与生成种子（seed）双重随机控制，确保了采样与生成过程的可复现性。所有样本均经过标准化处理，并附带了图像处理器配置及哈希值，为多模态评估提供了结构化的数据基础。

使用方法

本数据集作为多模态基准评测资源，可通过Hugging Face Datasets库便捷加载。用户需指定具体配置名（config_name），如Qwen3-VL-2B-Instruct或Qwen3-VL-30B-A3B-Thinking，并调用load_dataset函数获取对应训练分片。加载后，每条记录包含问题文本、关联图像及其数值化表示，可直接用于模型生成结果的验证与分析。推荐使用数据集中提供的input_ids与labels字段进行自动评估，或结合source、item_id进行个体样本追溯。此外，研究者可利用generated_texts与ref_answer字段计算模型输出与标准答案的语义相似度，而vision token统计量则有助于剖析多模态推理的计算开销，适用于模型微调与推理效率优化的相关研究中。

背景与挑战

背景概述

该数据集旨在服务于多模态大语言模型的评估与优化，具体聚焦于Qwen3-VL系列模型在MMMU-Pro标准任务上的推理表现。数据集构建于2025年前后，由相关研究团队基于MMMU-Pro基准进行二次采样与增强生成，核心研究问题在于探讨不同规模与配置（如是否启用思考模式）的多模态模型在复杂感知与推理任务中的能力差异。通过系统性地记录模型生成的文本、视觉令牌消耗及推理轨迹，该数据集为多模态模型的可解释性分析与性能瓶颈诊断提供了精细化的资源，在推动多模态大模型评测标准化与透明化方面具有重要价值。

当前挑战

领域层面，多模态大模型面临的核心挑战在于如何有效融合视觉与语言信息以完成复杂推理，MMMU-Pro任务要求的跨模态对齐与逻辑推演能力仍是当前技术的难点。数据集构建过程中，需确保不同模型配置下生成的推理数据具有可比性与一致性，同时处理视觉令牌长度统计与图像预处理配置的标准化问题。此外，多源模型生成结果的对齐与校验、样本规模与多样性间的平衡，以及思考模式开启与否对推理轨迹完整性的影响，均为构建高质量评测数据集所需克服的关键障碍。

常用场景

经典使用场景

在多模态大模型蓬勃发展的时代背景下，该数据集为评估视觉语言模型的综合推理能力提供了标准化的测试基准。其经典使用场景聚焦于对模型在复杂视觉问答任务上的表现进行系统性评测，涵盖图像理解、多图推理、图文关联分析等核心能力。通过记录模型生成的文本、输入输出令牌长度以及视觉令牌处理信息，研究人员能够深入剖析模型在处理多模态信息时的推理路径与计算效率，从而精准定位模型在视觉理解与语言生成协同过程中的优势与短板。

解决学术问题

该数据集有效解决了多模态大模型评估中缺乏标准化、可复现的测试样本这一关键学术难题。传统评测方法往往依赖人工标注的主观判断，难以客观衡量模型在不同视觉任务上的泛化能力。该数据集通过引入固定采样种子与标准化的多轮生成配置，确保了不同模型测试结果之间的可比性与因果归因的可靠性。其意义在于为视觉语言模型的公平对比和系统性诊断提供了坚实的数据基础，有力推动了多模态推理研究从碎片化评估向规范化、科学化方向演进。

实际应用

在实际应用层面，该数据集可被广泛用于智能客服系统中的视觉问答模块开发、自动驾驶场景中的视觉环境理解与决策验证，以及教育领域的多模态教材自动批阅系统。具体而言，开发者可借助该数据集对视觉语言模型在真实世界图像理解、图表解析、多图逻辑推理等任务上的表现进行压力测试，从而筛选出最适合特定业务场景的模型版本，并针对性地优化模型的视觉编码能力与推理链条的鲁棒性。

数据集最近研究

最新研究方向

该数据集聚焦于多模态大语言模型在复杂视觉问答任务中的推理能力评估与对比分析。研究重点在于探索不同规模与架构的模型（如Qwen3-VL系列）在标准采样策略下的生成质量、视觉与文本token的协同利用效率，以及引入‘思考’机制（Thinking）对答案准确性与归因一致性的提升作用。前沿方向包括：通过细粒度分析模型在视觉指代消解、多模态常识推理等挑战性场景中的表现，揭示模型内部注意力分配与视觉编码器分辨率对推理路径的影响；同时结合无偏采样与重复性实验设计，为多模态评估范式的标准化提供基准数据，推动大模型在真实世界多模态理解任务中的可控生成与可解释性研究。