OpenGVLab/MMPR-v1.2

MMPR-v1.2是一个大规模、高质量的多模态推理偏好数据集，包含约300万个样本。该数据集用于使用MPO微调InternVL2-8B模型，从而获得InternVL2-8B-MPO模型，该模型在多个基准测试中表现出优异的性能。此外，该数据集还用于使用MPO微调InternVL2.5系列模型，导致在OpenCompass排行榜上的性能得到提升。

MMPR-v1.2 is a large-scale and high-quality multimodal reasoning preference dataset, containing approximately 3 million samples. It is used to fine-tune the InternVL2-8B model with MPO, resulting in the InternVL2-8B-MPO model, which demonstrates superior performance across various benchmarks. Additionally, the dataset is used to fine-tune the InternVL2.5 series models with MPO, leading to improved performance on the OpenCompass leaderboard.

搜集汇总

数据集介绍

构建方式

在视觉语言模型快速演进的背景下，偏好数据成为提升多模态推理能力的关键要素。MMPR-v1.2数据集基于其前身MMPR及MMPR-v1.1进行扩展，通过引入额外的数据源以增强数据多样性。该数据集采用混合偏好优化（MPO）策略构建，包含约300万个样本，每个样本由图像路径、输入查询、优选回答与拒斥回答四部分组成。这种结构旨在为模型提供明确的偏好信号，使其在训练过程中能够区分高质量与低质量的回答，从而强化多模态推理能力。

特点

该数据集的显著特点在于其大规模与高质量，涵盖约300万个精心筛选的样本，专注于多模态推理任务。与早期版本相比，MMPR-v1.2通过融入更多样化的数据来源，显著提升了数据的覆盖面与丰富度。实验表明，基于该数据集微调的InternVL2-8B-MPO模型在MathVista和MathVision等基准测试中取得了突破性成绩，分别达到67.0%和25.7%的准确率，甚至媲美十倍参数量的更大模型。此外，该数据集还包含感知类数据，有效缓解了模型幻觉问题，并在复杂视觉问答任务中展现了通用能力的全面提升。

使用方法

该数据集专为通过偏好优化技术训练多模态大语言模型而设计，适用于监督微调与强化学习流程。使用者可从HuggingFace下载数据集，并通过解压images.zip文件获取图像数据。数据字段包括image（图像路径）、question（输入查询）、chosen（优选回答）和rejected（拒斥回答），可直接用于构建偏好学习训练对。推荐结合MPO算法或类似偏好优化方法，在InternVL系列模型上进行微调。详细的训练代码与使用指南可在InternVL官方文档及GitHub仓库中找到，其中提供了单图像对话等示例，便于快速上手。

背景与挑战

背景概述

MMPR-v1.2是由上海人工智能实验室OpenGVLab团队于2024年发布的大规模多模态推理偏好数据集，包含约300万样本，旨在通过偏好优化技术增强多模态大语言模型的推理能力。该数据集是InternVL系列模型（如InternVL3.5）的核心训练资源，其核心研究问题聚焦于如何利用混合偏好优化（MPO）方法，在视觉语言任务中提升模型的数学推理、复杂视觉问答和幻觉抑制能力。MMPR-v1.2在MathVista和MathVision等基准上取得了显著突破，使8B参数模型性能媲美76B模型，对开放源多模态模型领域产生了深远影响。

当前挑战

MMPR-v1.2所解决的领域挑战在于多模态大语言模型在复杂推理任务中的性能瓶颈，尤其是数学视觉推理和长尾场景理解中的准确率不足，以及模型易产生幻觉的问题。构建过程中面临的核心挑战包括：1) 如何从海量视觉语言数据中筛选并生成高质量、多样化的偏好对（chosen/rejected），确保覆盖推理、感知和通用能力；2) 设计有效的偏好优化策略，平衡不同任务间的性能提升，避免过拟合或能力退化；3) 处理数据规模庞大（300万样本）带来的存储、解压与标注一致性难题，如采用分卷压缩与统一注解格式。

常用场景

经典使用场景

MMPR-v1.2作为大规模多模态推理偏好数据集，其经典应用场景在于通过偏好优化技术训练多模态大语言模型。研究者通常利用该数据集中包含的约300万条图像-文本-偏好三元组，结合混合偏好优化（MPO）算法对InternVL系列模型进行微调。具体而言，模型在训练过程中学习区分“chosen”与“rejected”响应，从而增强对视觉信息与语言推理之间复杂关联的理解能力，显著提升在数学推理、视觉问答等任务上的表现。

解决学术问题

该数据集有效解决了多模态大语言模型在推理能力与幻觉抑制方面的核心学术挑战。通过提供大规模、高质量的偏好信号，MMPR-v1.2使得模型能够在视觉数学推理（如MathVista、MathVision）基准上取得突破性进展，同时利用感知数据的引入显著降低物体幻觉（如POPE基准提升1.2个百分点）。其意义在于证明了偏好优化不仅是提升语言模型推理能力的有效手段，更是缓解多模态模型固有幻觉问题的重要途径，推动了多模态对齐研究的理论发展。

衍生相关工作

MMPR-v1.2衍生了一系列影响深远的经典工作，其中最突出的是InternVL3.5系列模型的发布，该模型在开放多模态模型领域实现了全能性、推理能力与效率的全面提升。此外，基于该数据集的MPO算法论文《Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization》被广泛引用，催生了后续关于多模态偏好优化、推理增强训练策略的大量研究，并推动了OpenCompass等评测基准上新一轮的性能竞赛。