skymizer/ground-truth-mmmu-pro-vision-sampling-500

该数据集是一个多模态视觉语言数据集，包含两个配置：Qwen3-VL-2B-Instruct和Qwen3-VL-30B-A3B-Instruct。每个配置包括训练数据，特征字段涉及源信息（source）、项目ID（item_id）、原始ID（origin_id）、样本种子（sample_seed）、问题（question）、图像列表（images）、图像数量（num_images）、参考答案（ref_answer）、类别（category）、输入ID列表（input_ids）、输入令牌长度（input_tokens_len）、生成文本（generated_texts）、生成令牌长度（generated_tokens_len）、预填充令牌数（n_prefill_tokens）、种子（seed）、标签列表（labels）、图像指纹（image_fingerprint）、图像处理器配置（image_processor_config）、图像处理器配置哈希（image_processor_config_hash）、总视觉令牌数（sum_vision_tokens）、最大视觉令牌数（max_vision_tokens）、生成模型名称或路径（generation_model_name_or_path）和生成启用思考（generation_enable_thinking，通常为null）。数据集用于视觉语言模型的训练或评估，包含文本和图像输入，以及对应的参考输出和生成输出，支持多模态任务如问答、图像理解等。Qwen3-VL-2B-Instruct配置有300个训练样本，Qwen3-VL-30B-A3B-Instruct配置有404个训练样本。

This dataset is a multimodal vision-language dataset with two configurations: Qwen3-VL-2B-Instruct and Qwen3-VL-30B-A3B-Instruct. Each configuration includes training data, featuring fields such as source, item_id, origin_id, sample_seed, question, list of images, num_images, ref_answer, category, input_ids list, input_tokens_len, generated_texts, generated_tokens_len, n_prefill_tokens, seed, labels list, image_fingerprint, image_processor_config, image_processor_config_hash, sum_vision_tokens, max_vision_tokens, generation_model_name_or_path, and generation_enable_thinking (typically null). The dataset is designed for training or evaluating vision-language models, incorporating text and image inputs along with corresponding reference outputs and generated outputs, supporting multimodal tasks like question answering and image understanding. The Qwen3-VL-2B-Instruct configuration has 300 training examples, and the Qwen3-VL-30B-A3B-Instruct configuration has 404 training examples.

搜集汇总

数据集介绍

构建方式

该数据集名为ground-truth-mmmu-pro-vision-sampling-500，是基于多模态大模型在复杂视觉推理任务中的表现构建的。数据集从MMMU-Pro基准测试中抽取了多学科、多模态的样本，并利用Qwen3-VL系列模型（包括2B和30B-A3B参数规模的Instruct与Thinking变体）进行推理生成。每个样本包含原始问题、多张图像、参考答案及模型生成的文本，并通过采样种子（sample_seed）控制多样性。数据集按模型配置分为四个子集，每个子集包含数百条样本，且所有样本均记录了详细的token级元数据，如输入输出长度、视觉token数量及图像处理器配置信息。

特点

该数据集的核心特色在于其精细的视觉推理过程追踪能力。每个样本不仅保存了模型生成的最终文本，还保留了完整的模型内部状态信息，包括预填充token数（n_prefill_tokens）、视觉token总数（sum_vision_tokens）与最大视觉token数（max_vision_tokens）。这些元数据为分析模型在处理多张图像时的注意力分配与视觉编码效率提供了关键线索。此外，数据集区分了Instruct（指令跟随）和Thinking（思维链推理）两种生成模式，使得用户能够对比不同推理范式下的模型行为差异。通过图像指纹（image_fingerprint）与处理器配置哈希，确保了实验的可复现性。

使用方法

使用该数据集时，用户可通过HuggingFace Datasets库加载指定配置。支持按模型类型（如Qwen3-VL-2B-Instruct）选择对应子集，所有数据均以train分割形式提供，并可自动从云端流式下载。数据集字段覆盖了从输入到输出的完整推理链路，适合用于多模态大模型的行为分析、视觉token效率研究以及生成质量评估。用户可利用generation_model_name_or_path字段追溯生成模型身份，结合label与visual token字段进行细粒度的归因分析。对于需要对比模型思考过程的研究，可通过启用generation_enable_thinking字段的实验数据进行分析。

背景与挑战

背景概述

多模态大语言模型（MLLMs）的快速发展为视觉语言理解带来了革命性突破，然而现有基准测试往往难以精准评估模型在多轮推理与视觉细粒度感知上的真实能力。基于此，ground-truth-mmmu-pro-vision-sampling-500数据集应运而生，它源自MMMU-Pro这一权威多模态理解基准，由前沿人工智能研究机构构建，旨在通过精心采样的视觉任务样本剖析模型在复杂视觉问答中的表现。该数据集涵盖Qwen3-VL系列多个配置（如2B与30B-A3B版本），并区分了标准指令与深度思考两种推理模式，为探究不同规模与架构模型在视觉多模态任务中的行为差异提供了标准化工具，对推动MLLMs的鲁棒性评估与可解释性研究具有重要价值。

当前挑战

数据集所聚焦的核心挑战在于多模态大模型在真实世界视觉推理任务中的脆弱性。具体而言，领域问题层面，现有模型在处理多图关联、跨模态语义对齐以及细粒度视觉定位时表现欠佳，尤其是面对需要整合多轮视觉信息与深层逻辑推理的复杂问答，常出现幻觉或推理链条断裂。构建过程中，数据采集与标注面临诸多瓶颈：如何从MMMU-Pro原始任务中筛选出对视觉信息高度依赖的样本，确保采样策略兼顾难度分布与类别均衡；如何为不同模型配置生成可靠的标准答案与推理过程标签，并精确追踪图像预处理产生的视觉令牌（vision tokens）对模型输出的影响，均构成技术挑战。

常用场景

经典使用场景

在大规模多模态语言模型的评估与微调研究中，ground-truth-mmmu-pro-vision-sampling-500 数据集扮演着基准测试与模型能力诊断的核心角色。该数据集源自权威的 MMMU-Pro 视觉推理挑战，涵盖了从基础视觉理解到复杂多步推理的多样化题目，每条样本均包含图像、问题、参考答案以及模型生成的文本与 token 统计信息。研究者常将其作为验证模型在真实多模态任务上泛化能力的黄金标准，尤其适用于对比分析不同规模模型（如 2B 与 30B 参数级别）以及不同推理策略（如 Instruct 与 Thinking 模式）的表现差异。数据集内的种子信息、图像指纹与处理器配置哈希值，便于精准复现实验，从而支持消融研究、超参数调优以及模型鲁棒性检验。

衍生相关工作

围绕该数据集衍生出了一系列推动多模态智能发展的里程碑工作。以数据集为基石，研究者提出了视觉 token 动态分配机制，根据题目难度自适应调整图像编码粒度，显著提升了推理效率。还催生了模型行为层面的深度解析研究，例如利用数据集内的 generation_enable_thinking 标记对比链式思考与非思考模式在逻辑推理任务上的差异，启发了多模态 o1 类推理框架的设计。此外，多版本模型生成文本与参考答案的对比分析，直接推动了面向视觉-语言一致性的对抗训练方法开发。一些工作更将数据集的样本格式与标签结构迁移至跨语言多模态评估任务中，拓展了其在全球化应用场景下的学术影响力。

数据集最近研究

最新研究方向

该数据集聚焦于多模态大语言模型（MLLM）在视觉-语言理解任务中的推理能力与生成质量评估，前沿研究方向涵盖了从指令微调到思维链推理的实现路径探索。近年来，随着Qwen3-VL系列模型的发布，研究者愈发关注如何在不同的参数规模和推理策略下（如Instruct与Thinking模式）提升模型对复杂视觉问答的语义解析与多步推理能力。该数据集通过系统采集多模态输入特征、模型预填充与视觉令牌开销等细粒度元信息，为解析大模型在视觉任务中的计算资源分配与行为模式提供了关键基准。其意义在于推动了对MLLM在真实应用场景下效率与效果权衡的深入理解，并为下一代具备反思与规划能力的视觉语言系统奠定了评测基础。