MPBench

MPBench是一个全面的多模态基准，由哈尔滨工业大学、上海人工智能实验室等机构创建，旨在系统地评估过程级奖励模型在多样化场景中的有效性。该数据集包含9745个细粒度数据实例，涵盖六个子类别，通过三种评估范式全面评估模型在现实世界推理任务中的表现，为多模态过程级奖励模型的发展提供有价值的见解。

MPBench is a comprehensive multimodal benchmark developed by institutions including Harbin Institute of Technology and Shanghai AI Laboratory, aiming to systematically evaluate the effectiveness of process-level reward models across diverse scenarios. This dataset contains 9,745 fine-grained data instances covering six subcategories, comprehensively assesses model performance on real-world reasoning tasks through three evaluation paradigms, and provides valuable insights for the development of multimodal process-level reward models.

搜集汇总

数据集介绍

构建方式

MPBench数据集的构建基于多模态推理任务的需求，旨在评估过程级奖励模型（PRMs）在不同场景下的有效性。数据集通过结合人工标注和自动化生成的方式，构建了9,745个细粒度的数据实例，涵盖科学、数学和常识推理等多个领域。具体构建过程中，研究人员利用GPT-4等先进模型生成错误步骤和多解决方案，并通过规则过滤和人工验证确保数据质量。数据集的构建还引入了三种评估范式：步骤正确性、答案聚合和推理过程搜索，以全面评估PRMs在推理过程中的表现。

特点

MPBench数据集的特点在于其多模态和多任务的综合性。它不仅涵盖了文本推理任务，还引入了视觉和逻辑推理等多模态内容，使得评估更加贴近现实世界的复杂任务。数据集包含三种核心评估范式：步骤正确性评估PRMs对中间推理步骤的判断能力，答案聚合评估PRMs从多个候选答案中选择最优解的能力，推理过程搜索则评估PRMs在推理过程中引导搜索最优步骤的能力。此外，MPBench的数据实例覆盖了广泛的领域和任务类型，提供了丰富的评估场景，能够全面反映PRMs在不同推理任务中的表现。

使用方法

MPBench数据集的使用方法主要围绕其三种评估范式展开。研究人员可以通过步骤正确性评估来测试PRMs对推理步骤的准确性判断，利用答案聚合评估来验证PRMs在多个候选答案中选择最优解的能力，并通过推理过程搜索评估来探索PRMs在推理过程中引导搜索最优步骤的能力。具体使用时，研究人员可以将PRMs应用于数据集中的任务，并根据评估范式生成相应的评分和反馈。此外，MPBench还提供了详细的实验设置和提示模板，帮助研究人员快速适应数据集的评估框架，从而深入分析PRMs在复杂推理任务中的表现。

背景与挑战

背景概述

MPBench是由Zhaopan Xu等人于2025年提出的一个多模态推理基准测试，旨在系统评估过程级奖励模型（PRMs）在不同场景中的有效性。该数据集由上海人工智能实验室、新加坡国立大学等机构的研究人员共同开发，包含9,745个细粒度数据实例，涵盖六个子类别。MPBench通过三个评估范式（步骤正确性、答案聚合和推理过程搜索）来全面评估PRMs在复杂推理任务中的表现。该数据集的提出填补了现有PRMs基准测试的空白，特别是在多模态推理领域的评估不足。MPBench的发布为多模态PRMs的发展提供了重要的参考和指导。

当前挑战

MPBench面临的挑战主要体现在两个方面。首先，在领域问题方面，现有的PRMs基准测试主要集中于文本形式的错误检测，忽略了推理搜索等其他场景，且缺乏多模态内容的评估。MPBench通过引入多模态数据和多任务评估范式，试图解决这一问题，但如何确保评估的全面性和准确性仍是一个挑战。其次，在数据构建过程中，MPBench需要生成大量包含错误推理步骤的多模态数据，并确保这些数据的多样性和真实性。此外，数据集的细粒度标注和人工验证也带来了较高的复杂性和成本。如何在保证数据质量的同时，提升数据集的规模和多样性，是MPBench构建过程中需要克服的主要挑战。

常用场景

经典使用场景

MPBench数据集在多模态推理领域中被广泛用于评估过程级奖励模型（PRMs）的有效性。其经典使用场景包括对中间推理步骤的正确性评估、多个候选答案的聚合选择，以及在推理过程中引导搜索最优推理步骤。这些场景通过三个评估范式（Step Correctness、Answer Aggregation、Reasoning Process Search）得以实现，为研究者提供了一个系统化的框架来测试和优化PRMs在不同任务中的表现。

衍生相关工作

MPBench的推出催生了一系列相关研究工作，尤其是在多模态推理和过程级奖励模型领域。例如，基于MPBench的研究进一步探索了如何在推理过程中引入更细粒度的奖励机制，以提升模型的推理能力。此外，MPBench还为其他多模态推理基准测试的开发提供了参考，如M3CoT和ProcessBench等，推动了该领域的标准化和多样化发展。

数据集最近研究

最新研究方向

近年来，随着大语言模型（LLMs）在复杂推理任务中的应用日益广泛，过程级奖励模型（PRMs）的研究逐渐成为热点。MPBench作为一个多模态、多任务的基准测试集，旨在系统评估PRMs在不同场景下的有效性。该数据集通过三个评估范式——步骤正确性、答案聚合和推理过程搜索，全面考察PRMs在推理过程中的表现。MPBench的引入填补了现有基准测试集在推理搜索和多模态评估方面的空白，特别是在数学推理和代码生成等复杂任务中，PRMs的逐步反馈机制能够显著提升模型的推理准确性。此外，MPBench通过引入多模态内容，进一步扩展了PRMs在现实任务中的应用场景，为未来多模态PRMs的发展提供了重要的参考和指导。

相关研究论文

• MPBench: A Comprehensive Multimodal Reasoning Benchmark for Process Errors Identification

  哈尔滨工业大学, 上海人工智能实验室, 新加坡国立大学, 上海创新院, 深圳技术大学 · 2025年