mm-eval/MathVerse

---
dataset_info:
- config_name: testmini
features:
- name: id
dtype: string
- name: media
list: image
- name: messages
dtype: string
splits:
- name: testmini
num_bytes: 203274841
num_examples: 3940
download_size: 201619463
dataset_size: 203274841
- config_name: testmini_text_only
features:
- name: id
dtype: string
- name: media
list: image
- name: messages
dtype: string
splits:
- name: testmini_text_only
num_bytes: 452083
num_examples: 788
download_size: 106958
dataset_size: 452083
configs:
- config_name: testmini
data_files:
- split: testmini
path: testmini/testmini-*
default: true
- config_name: testmini_text_only
data_files:
- split: testmini_text_only
path: testmini_text_only/testmini_text_only-*
---

搜集汇总

数据集介绍

构建方式

MathVerse数据集是AI4Math/MathVerse在Simple-MMEval格式下的镜像版本，旨在为多模态数学推理评估提供标准化的数据资源。该数据集包含两个配置：testmini与testmini_text_only，其中testmini包含3940个带有图像的多模态数学问题样本，而testmini_text_only则包含788个仅文本的变体。在构建过程中，数据集的提示模板源自源数据集的`query_wo`列，即官方评估流水线预渲染的单答案评估提示，模板形式为`<image>{{ question }}`，确保了评估流程的一致性和可复现性。此外，数据集的根目录下还提供了`metadata.json`文件，用于记录每个子集的完整清单，进一步增强了数据管理的透明度和可用性。

特点

MathVerse数据集的核心特点在于其多模态与纯文本双轨配置的设计，能够灵活支持不同场景下的数学推理评估。testmini配置整合了图像与问题文本，使得模型需同时理解视觉信息与语言描述，从而全面检验其在多模态环境下的数学问题求解能力。而testmini_text_only配置则剥离了图像依赖，专注于文本逻辑推理，便于独立评估语言模型自身的数学素养。这种结构不仅便于研究者对比多模态与纯文本任务的性能差异，还为消融实验提供了天然的控制条件。此外，数据集的标准化格式与元数据档案确保了跨版本和跨研究的高效移植与比较。

使用方法

使用MathVerse数据集时，研究者可直接从HuggingFace加载预配置的testmini或testmini_text_only分支，每个样本由唯一标识符`id`、`media`字段中的图像列表以及`messages`字段中的对话消息组成。推荐采用预定义的提示模板`<image>{{ question }}`进行多模态评估，其中`<image>`占位符用于嵌入视觉内容，而`{{ question }}`则替换为具体问题文本。对于纯文本评估，可直接使用testmini_text_only配置中的文本线索。评估结果可通过对比官方流水线的输出与标准答案进行误差分析，同时利用`metadata.json`文件中的子集清单细化实验结果的可追溯性。

背景与挑战

背景概述

MathVerse数据集由AI4Math团队于近年创建，专注于评估多模态大语言模型在数学推理任务上的表现。该数据集的核心研究问题在于，如何通过视觉与文本信息的深度融合，检验模型在几何、代数等数学问题上的理解与推理能力。MathVerse的诞生填补了现有基准测试在数学领域多模态评估上的空白，为研究者提供了一个标准化、细粒度的评测平台，对推动多模态AI在科学计算与教育技术中的应用具有重要影响力。

当前挑战

MathVerse所解决的领域挑战在于，多模态大语言模型在数学推理中常面临视觉信息与文本逻辑脱节的问题，例如模型难以从几何图形中准确提取关键数值或关系。构建过程中面临的挑战包括：设计能够覆盖多样化数学子领域的题目集，确保视觉与文本数据的高质量对齐，以及避免数据泄露导致的评估偏差。这些挑战要求数据集在规模、多样性和标注精度上达到平衡，以真实反映模型的推理能力。

常用场景

经典使用场景

在视觉语言模型（VLM）迅猛发展的今天，如何准确评估模型在数学推理任务上的表现成为关键挑战。MathVerse数据集正是为此而生，它提供了包含图像和文本问题的多模态数学题目，特别适合用于评估视觉语言模型在数学逻辑推理、几何图形理解和公式推导等场景下的综合能力。研究者可以基于该数据集中的testmini子集对模型进行零样本或少样本评估，系统性地检验模型将视觉信息与数学符号结合进行推理的准确度与鲁棒性。

衍生相关工作

围绕MathVerse数据集，衍生出一系列具有影响力的研究工作。研究者们开发了针对多模态数学推理的专用评估框架，如Simple-MMEval，通过标准化提示模板和评估协议提升评测的可复现性。同时，该数据集也催生了多模态数学增强训练方法的探索，包括视觉感知模块与数学推理层的联合优化策略，以及基于对比学习的多模态表征对齐技术。这些工作共同促进了视觉语言模型在复杂数学任务上的能力边界拓展与评估范式创新。

数据集最近研究

最新研究方向

MathVerse作为多模态数学推理领域的标杆性评测基准，近期研究聚焦于视觉语言模型在几何图形、函数图像及统计图表等数学视觉场景下的逻辑推理能力。该数据集通过结构化分治策略，将数学问题拆解为图文协同验证过程，推动模型从模式识别向形式化推演的跃迁。当前热点集中于分析大语言模型在跨模态数学符号理解中的涌现机制，以及利用对抗性样本测试模型对视觉干扰的鲁棒性，揭示了视觉-符号对齐瓶颈对高阶数学问题求解性能的深层制约，为构建类人数学智能系统提供了关键评估框架。