OpenGVLab/MMPR-v1.2-prompts

MMPR是一个大规模、高质量的多模态推理偏好数据集，包括约300万个样本。该数据集用于构造MMPR-v1.2，显著提高了InternVL3在各种规模上的整体性能。

MMPR is a large-scale and high-quality multimodal reasoning preference dataset, including approximately 3 million samples. This dataset is used to construct MMPR-v1.2, significantly improving the overall performance of InternVL3 across all scales.

搜集汇总

数据集介绍

构建方式

在多模态大语言模型领域，偏好优化是提升模型推理能力与减少幻觉的关键技术。MMPR-v1.2-Prompts 数据集正是为此而生，它作为构建大规模、高质量多模态推理偏好数据集 MMPR-v1.2 的提示集，包含了约300万样本。该数据集通过精心设计的提示（prompts）来引导模型生成偏好与非偏好的回答对，具体数据字段包括图像路径、输入查询、被选择的回答以及被拒绝的回答，从而为混合偏好优化（MPO）提供训练基础。

特点

该数据集的核心特点在于其大规模与高质量，以及针对多模态推理任务的专精设计。数据集中包含的感知数据有效缓解了模型幻觉现象，这在 POPE 基准测试上 InternVL2-8B-MPO 模型提升1.2个百分点的结果中得到印证。同时，在 MathVista 和 MathVision 等数学推理基准上，基于该数据集优化的模型取得了显著性能突破，分别达到67.0%和25.7%的准确率，甚至与十倍参数量的模型性能相媲美。

使用方法

使用 MMPR-v1.2-Prompts 数据集时，首先需通过运行 `cat images.zip_* > images.zip` 和解压命令来准备图像数据。随后，可参考官方文档中的详细指南，结合 MPO 算法对 InternVL 系列模型进行微调。数据集以 annotations.zip 文件形式提供，包含 train 分片，用户可直接加载其中的 image、question、chosen 和 rejected 字段，以构建偏好优化所需的训练样本。

背景与挑战

背景概述

多模态大语言模型在视觉推理任务中展现出巨大潜力，然而其性能往往受限于缺乏高质量、大规模的对齐偏好数据。为应对这一瓶颈，上海人工智能实验室OpenGVLab团队于2024年提出了MMPR（Multimodal Reasoning Preference）数据集，其最新版本v1.2-prompts包含了约300万个样本。该数据集由王伟云、陈哲等研究人员主导构建，旨在通过混合偏好优化（MPO）策略增强多模态大模型的推理能力。基于MMPR-v1.2-prompts微调的InternVL2-8B-MPO模型在MathVista基准上取得了67.0%的准确率，较基础模型提升8.7个百分点，性能甚至可与十倍参数量的InternVL2-76B相媲美，在MathVision上也刷新了开源模型的最佳记录。该数据集的发布为多模态推理对齐研究提供了重要的资源支撑，推动了领域内偏好优化方法的进步。

当前挑战

MMPR-v1.2-prompts数据集所面临的挑战主要体现在两个层面。在领域问题层面，多模态大模型在复杂视觉推理任务中常出现幻觉现象，即模型生成与图像内容不符的文本，同时模型在数学推理、视觉问答等需要精细认知的任务上性能不足，亟需通过偏好数据引导模型区分优质与劣质响应。在构建过程中，挑战尤为显著：首先，需要从海量多模态数据中筛选出能有效激发推理能力的提示（prompts），并确保每个样本包含高质量的chosen（偏好响应）和rejected（非偏好响应）对，这对数据标注的一致性和准确性提出了极高要求；其次，数据集规模达到百万级别，如何平衡数据多样性、标注成本与推理任务覆盖范围，同时避免引入噪声，是构建中的核心难题；最后，偏好数据的有效性依赖于与模型训练策略的协同优化，需要精心设计混合偏好优化算法以充分发挥数据价值。

常用场景

经典使用场景

在视觉语言模型（VLM）的研究领域，MMPR-v1.2-prompts数据集最经典的使用场景是作为多模态偏好优化的核心训练数据。该数据集包含约300万条样本，每条样本由图像、输入查询、被选中的响应与被拒绝的响应构成，专门用于构建基于偏好的多模态推理能力增强框架。通过将MMPR-v1.2-prompts与混合偏好优化（MPO）算法结合，研究者能够对大规模多模态大语言模型进行精细调优，显著提升其在数学推理、复杂视觉问答和感知任务中的表现，从而成为推动多模态模型从感知向深度推理跃迁的关键数据基石。

实际应用

在实际应用层面，MMPR-v1.2-prompts数据集驱动的多模态模型可广泛部署于教育辅导、智能文档分析、自动化图表解读和科学图像推理等场景。例如，在教育领域，模型能够精准解析数学几何题、物理示意图，并提供逐步推理的解答；在工业场景中，其可辅助工程师解读复杂技术图纸或检测产品缺陷。由于该数据集特别注重数学和逻辑推理能力的提升，经过其训练的模型在需要严密的因果分析和多步推演的视觉任务中表现优异，从而赋能从智能客服到医疗影像诊断等众多需要高精度视觉理解的现实应用。

衍生相关工作

MMPR-v1.2-prompts数据集衍生了一系列重要的学术工作，其中最具代表性的是基于混合偏好优化（MPO）框架的InternVL系列模型升级。研究者利用该数据集对InternVL2-8B进行微调，获得了在8个基准上全面超越基线的InternVL2-8B-MPO模型，并进一步将MPO技术推广至InternVL2.5全系列（从1B到78B参数规模），在OpenCompass排行榜上实现了平均2个百分点的性能提升。这些工作不仅验证了大规模偏好数据在跨尺度模型泛化中的有效性，还催生了关于多模态偏好学习理论、数据质量筛选策略以及高效训练范式等后续研究，持续推动着视觉语言模型领域的前沿探索。