MATHEXPLAIN

MATHEXPLAIN是一个包含997个数学问题实例的多模态视觉解决方案解释基准，每个实例包含问题文本、问题图像、解决方案文本、解决方案图像以及视觉关键点。该数据集由韩国延世大学和Mathpresso共同创建，旨在评估和推进模型在生成包含视觉关键点的教育有效数学解释方面的能力。数据集覆盖了几何和图表领域的中学至高中级别的问题，包含多种题型，如选择题和简答题。

MATHEXPLAIN is a multimodal visual solution explanation benchmark containing 997 instances of mathematical problems. Each instance includes problem text, problem image, solution text, solution image, and visual keypoints. Created jointly by Yonsei University in South Korea and Mathpresso, this dataset aims to evaluate and advance the capabilities of models in generating educationally effective mathematical explanations that incorporate visual keypoints. The dataset covers problems in the fields of geometry and charts from middle to high school levels, encompassing various question types such as multiple-choice and short-answer questions.

搜集汇总

数据集介绍

构建方式

MATHEXPLAIN数据集的构建基于真实数学教育场景，从专业数学教育平台中提取了997个多模态问题-解决方案对，涵盖几何与图形等核心领域。通过AI辅助人工标注的方式，对解决方案图像中的视觉关键点（如辅助线、角度标记等新增元素）进行结构化标注，形成包含问题文本、问题图像、解答文本、解答图像及视觉关键点的五元组结构。标注过程严格遵循格式化准则，由具备理工科背景的标注员进行质量验证，确保关键点的教育相关性和描述准确性。

使用方法

使用MATHEXPLAIN需完成两项核心任务：视觉关键点识别要求模型根据问题图像和文本，生成结构化JSON格式的关键点描述；关键点解释生成则评估模型引用视觉元素进行教学解释的能力。评估采用元素匹配精度（EM）和人工评分相结合的方式，重点关注解释的逻辑正确性、视觉元素引用准确性和教学有效性。研究人员可通过对比闭源与开源模型在几何问题解释上的表现，推动多模态教育助手的发展。

背景与挑战

背景概述

MATHEXPLAIN数据集由Yonsei University和Mathpresso的研究团队于2025年提出，旨在解决大型语言模型在数学教育中缺乏视觉解释能力的核心问题。该数据集包含997个数学问题，每个问题均配有原始图像、解答图像、视觉关键点标注及解释性文本。其创新性在于首次系统性地将视觉元素（如辅助线、角度标记等）与文本解释相结合，模拟人类导师的教学方式。该数据集推动了多模态大语言模型在教育领域的发展，特别是在几何与图形问题求解方面具有重要影响力。

当前挑战

MATHEXPLAIN面临的主要挑战包括：1) 领域问题层面，现有模型难以准确识别对理解解题过程至关重要的视觉关键点（如几何构造中的辅助元素），且生成的解释文本与视觉元素的关联性不足；2) 构建过程中需解决双重标注难题——既要确保AI生成的视觉关键点符合数学教学逻辑，又需保持人类标注者与AI标注工具之间的标准一致性。此外，将韩语原始数据精准翻译为英语并保留数学表达的专业性也是重要挑战。

常用场景

经典使用场景

在数学教育领域，MATHEXPLAIN数据集被广泛应用于评估多模态大语言模型（MLLMs）在视觉解题解释任务中的表现。该数据集通过提供包含问题文本、问题图像、解答文本、解答图像及视觉关键点的多模态数据，支持模型生成结合视觉元素的解题解释。这一场景特别适用于几何和图形相关的数学问题，模型需要识别并引用视觉关键点（如辅助线、角度标记等）来生成直观且易于理解的解释。

解决学术问题

MATHEXPLAIN数据集解决了当前数学教育研究中多模态解释生成能力不足的问题。传统数学问题解答数据集通常仅关注文本推理，而忽略了视觉元素在解释中的重要性。该数据集通过引入视觉关键点标注，为研究社区提供了评估模型在视觉与文本结合解释能力上的基准。其意义在于推动了多模态模型在教育场景中的应用，使得AI生成的解释更接近人类导师的直观教学方式。

实际应用

在实际应用中，MATHEXPLAIN数据集可被集成到智能辅导系统中，为学生提供个性化的数学问题解答服务。例如，当学生在几何问题中遇到困难时，系统可以基于该数据集生成包含视觉标记的逐步解释，帮助学生理解辅助线或角度标记的作用。此外，该数据集还可用于教师培训工具，帮助新手教师学习如何结合视觉元素进行有效教学。

数据集最近研究

最新研究方向

随着大型语言模型（LLM）在数学推理能力上的快速发展，AI系统在教育领域的应用日益广泛，尤其是在支持学生理解问题解决过程方面。然而，当前LLM生成的解释中一个关键组成部分尚未得到充分探索：视觉解释。在实际教学环境中，人类导师通常会使用视觉辅助工具（如图表、标记和高亮）来增强概念清晰度。为了填补这一空白，MATHEXPLAIN数据集应运而生，它专注于视觉解决方案解释任务，要求生成包含新引入的视觉元素（如辅助线、注释或几何构造）的解释。该数据集由997个数学问题组成，每个问题都标注了视觉关键点和相应的解释文本。前沿研究方向包括提升多模态大语言模型（MLLM）在视觉关键点识别和基于关键点的解释生成方面的能力，以及探索如何将这些技术应用于个性化学习支持系统。这一研究不仅推动了多模态AI在教育中的应用，还为开发更具解释性的AI导师提供了重要基准。

相关研究论文

• Explain with Visual Keypoints Like a Real Mentor! A Benchmark for Multimodal Solution Explanation

  韩国延世大学, Mathpresso · 2025年