MM-MATH

MM-MATH数据集是由清华大学开发的一个综合性基准，旨在评估大型语言和多模态模型在几何计算领域的性能。该数据集包含5,929个精心设计的几何问题，每个问题都配有相应的图像，模拟九年级数学的复杂性和要求。数据集的创建过程涉及从2021-2022年的中学考试和教科书中收集问题，并根据学生表现率分类难度。MM-MATH数据集不仅作为评估几何问题解决能力的全面基准，还揭示了当前模型在文本和视觉理解方面的关键差距，旨在推动多模态模型能力的进一步研究和发展。MM-MATH is a comprehensive benchmark developed by Tsinghua University for evaluating the performance of large language and multimodal models in the field of geometric computation. This dataset includes 5,929 meticulously designed geometric problems, each accompanied by a corresponding image, mirroring the complexity and demands of 9th-grade mathematics curricula. The construction of the MM-MATH dataset entails collecting problems from middle school examinations and textbooks spanning 2021 to 2022, with difficulty levels categorized based on student success rates. Beyond serving as a comprehensive benchmark for assessing geometric problem-solving abilities, the MM-MATH dataset uncovers key gaps in current models' textual and visual comprehension capabilities, with the goal of advancing further research and development of multimodal model capacities.

搜集汇总

数据集介绍

构建方式

在几何问题求解领域，MM-MATH数据集的构建体现了对多模态模型评估的深度考量。该数据集源自21世纪教育网络，涵盖了2021至2022年间初中几何计算题目，通过系统化流程将原始MathML格式转化为标准LaTeX表达，确保了数据的可读性与一致性。构建过程中，所有题目均被转化为开放式问题形式，摒弃了传统选择题或填空题的局限，以便更全面地评估模型的中间推理过程。此外，每道题目均配有对应几何图像及完整解析，并依据考试表现系数标注了难度等级、所属年级及知识点，形成了多维度、结构化的评估框架。

使用方法

使用MM-MATH数据集进行评估时，需遵循系统的实验协议。首先，将问题陈述与对应图像输入待测多模态模型，提示模型生成包含于\boxed{}中的解答。评估分为结果评估与过程评估两部分：结果评估通过直接比较模型输出与标准答案的数值、表达式或区间，允许一定误差容限；过程评估则借助GPT-4等工具，对比模型生成内容与标准解析，识别首次出现的错误并将其归类为图像误解、逻辑推理错误、计算错误或条件误解四类。这种双轨评估方法能更精细地揭示模型在几何问题求解中的能力缺陷与改进方向。

背景与挑战

背景概述

在人工智能领域，几何问题求解作为多模态模型能力评估的关键环节，长期面临评估标准单一、缺乏系统性基准的困境。2024年，清华大学研究团队发布了MM-MATH数据集，旨在构建一个全面评估大语言模型与多模态模型几何计算能力的基准。该数据集包含5929道精心设计的几何问题，涵盖初中九年级数学课程的核心内容，每道题均配有对应图像与详细解析。通过与21世纪教育网络合作，研究团队整合了2021至2022年间的考试与教材题目，采用开放式问题形式，突破传统选择题与填空题的局限，实现了对模型推理过程与结果准确性的双重评估。这一数据集的建立，不仅填补了几何多模态评估领域的空白，更为推动模型在文本与图像协同理解方面的发展提供了重要参照。

当前挑战

MM-MATH数据集所针对的核心挑战在于多模态模型对几何图像与文本信息的协同解析能力不足。具体而言，超过60%的模型错误源于对图像中几何元素及其空间关系的误判，例如未能准确识别三角形特性或平行线关系。在构建过程中，研究团队面临原始数据格式复杂、数学符号标准化转换困难等挑战：需将MathML格式的数学表达式转换为LaTeX标准格式，并处理中文全角符号等非标准元素；同时，为保持评估的严谨性，需将选择题与填空题转化为开放式问题，并确保解题步骤的完整性。这些挑战凸显了当前多模态模型在几何推理领域与人类水平之间存在的显著差距。

常用场景

经典使用场景

在几何计算领域，MM-MATH数据集作为一项综合性基准，主要用于评估大型语言模型与多模态模型在解析几何问题方面的能力。该数据集通过整合5,929道涵盖初中九年级数学课程内容的几何计算题目，每道题均配有对应图像，旨在模拟真实教育场景中的复杂问题解决需求。其经典应用场景在于为研究者提供一个标准化测试平台，用以检验模型在结合文本与视觉信息进行几何推理时的表现，尤其关注模型从图像中准确提取几何元素及其空间关系的能力。

解决学术问题

MM-MATH数据集致力于解决多模态模型在几何问题求解中存在的关键学术挑战。传统评估方法往往仅关注最终答案的正确性，而忽视了中间推理过程的严谨性，导致模型在视觉理解与逻辑推导方面存在显著缺陷。该数据集通过引入结果与过程双重评估机制，系统揭示了模型在图像解析、条件误解及计算错误等方面的不足，其中超过60%的错误源于对图像信息的误读。这一工作不仅填补了几何多模态评估领域的空白，还为提升模型在复杂空间推理任务中的鲁棒性提供了实证基础。

实际应用

MM-MATH数据集的实际应用价值主要体现在智能教育系统的开发与优化中。教育机构与技术公司可借助该数据集训练和评估辅助教学模型，以提升其在几何题目自动解答、步骤批改及个性化学习指导方面的效能。例如，系统能够通过分析学生在解题过程中的常见错误类型，提供针对性的反馈与知识点强化建议。同时，该数据集支持对多模态模型进行跨难度、跨年级的细粒度评估，有助于推动自适应学习工具在真实课堂环境中的落地与普及。

数据集最近研究

最新研究方向

在几何问题求解领域，MM-MATH数据集的推出标志着多模态模型评估范式的深刻转变。该数据集以九年级数学为基准，涵盖近六千道图文结合的几何计算题，旨在系统检验模型在视觉解析与逻辑推理方面的综合能力。前沿研究聚焦于揭示当前先进模型如GPT-4V在图像信息提取中的显著缺陷——超过60%的错误源于对几何图形元素及其空间关系的误判。这一发现推动了评估方法从单纯结果比对向过程分析的演进，促使学界关注模型中间步骤的严谨性。热点议题围绕如何提升多模态模型对隐含几何条件的推断能力，以及设计更精细的评估协议以弥合模型与人类水平间的性能鸿沟。该数据集不仅为几何认知计算设立了新基准，更通过开放性问题形式与多维标注体系，为可解释人工智能的发展提供了关键实验场域。

相关研究论文

• Advancing Geometric Problem Solving: A Comprehensive Benchmark for Multimodal Model Evaluation

  清华大学 · 2024年