MathScape

MathScape是由南开大学、北京大学、百川公司和中国科学院大学联合创建的多模态数学问题数据集，旨在评估多模态大型语言模型在数学问题解决中的应用。该数据集包含1325张图像，涵盖从小学到高中的数学问题，难度从易到难，涉及多种题型和知识领域。数据集的创建过程包括将数学文档转换为图像、拍摄照片和屏幕截图，以及进行质量检查和知识分类。MathScape数据集主要用于评估模型在复杂数学问题解决中的表现，特别是在结合视觉和文本信息的能力。MathScape is a multimodal mathematical problem dataset jointly created by Nankai University, Peking University, Baichuan Company, and the University of Chinese Academy of Sciences, aiming to evaluate the application of multimodal large language models in mathematical problem solving. This dataset contains 1325 images, covering mathematical problems from primary school to high school with difficulties ranging from easy to hard, involving diverse question types and knowledge domains. The construction process of the dataset includes converting mathematical documents into images, collecting photos and screenshots, as well as conducting quality checks and knowledge categorization. The MathScape dataset is primarily used to evaluate models' performance in solving complex mathematical problems, especially their ability to integrate visual and textual information.

搜集汇总

数据集介绍

构建方式

MathScape数据集的构建采用了三步流程，首先将数学文档转换为图像格式，随后通过拍摄照片和截屏的方式捕捉真实世界的数学问题图像，最后进行严格的质量检查和知识分类，确保数据集的高质量和真实性。这种构建方式旨在模拟真实场景中的数学问题，结合视觉和文本信息，提供一个全面的评估基准。

特点

MathScape数据集的特点在于其结合了视觉和文本信息，涵盖了从小学到高中的数学问题，难度从简单到复杂，涉及多种题型和知识领域。数据集中的问题通过图像和文本的结合，更贴近实际应用场景，且提供了详细的答案和解题过程，便于模型进行多维度的评估。

使用方法

MathScape数据集可用于评估多模态大语言模型（MLLMs）在数学问题上的表现。使用时，模型需要结合图像和文本信息进行问题解答，并通过两步评估流程进行评分。首先，模型需分解复杂问题为多个子问题，然后对每个子问题的答案进行独立评分，最终综合评估模型的整体表现。

背景与挑战

背景概述

随着多模态大语言模型（MLLMs）的发展，评估这些模型在数学问题中的表现成为一个重要的研究领域。MathScape数据集由Minxuan Zhou等人于2024年提出，旨在通过层次化的基准测试评估多模态模型在数学场景中的表现。该数据集由南开大学、北京大学和百川公司等机构合作开发，专注于结合视觉和文本信息的数学问题，特别是照片形式的数学问题场景。MathScape通过多维度的评估方法，揭示了现有模型在处理复杂数学问题时的局限性，为提升模型性能提供了宝贵的见解。

当前挑战

MathScape数据集在构建和应用过程中面临两大主要挑战。首先，现有数据集如MATH-V和MathVerse等，未能充分整合视觉和文本信息，导致与真实世界场景不符。其次，这些数据集的评估方法局限于短答案，缺乏对长篇复杂答案的有效评估。MathScape通过引入三步数据构建流程和两步评估方法，解决了这些问题，但仍需应对模型在理解复杂几何图形和进行多步推理时的不足。

常用场景

经典使用场景

MathScape数据集的经典使用场景主要集中在多模态数学推理任务的评估。该数据集通过结合视觉和文本信息，模拟了真实的数学问题场景，特别适用于评估多模态大语言模型（MLLMs）在处理复杂数学问题时的表现。研究者可以通过MathScape对模型进行多维度的评估，包括问题类型、知识领域和教育阶段，从而全面了解模型在不同数学任务中的表现。

解决学术问题

MathScape数据集解决了多模态数学推理领域中的两个关键学术问题：一是现有数据集在真实场景中的不足，缺乏视觉和文本信息的有效结合；二是缺乏对复杂长答案的有效评估方法。MathScape通过引入新的数据构建和评估流程，填补了这一研究空白，为多模态数学推理提供了更为真实和全面的评估基准，推动了该领域的发展。

衍生相关工作

MathScape数据集的提出激发了大量相关研究工作。许多研究者基于MathScape开发了新的多模态数学推理模型，并提出了改进的评估方法。例如，一些研究通过引入更复杂的视觉信息处理技术，提升了模型在几何问题中的表现；另一些研究则专注于优化长答案的评估流程，进一步提高了评估的准确性和全面性。这些工作共同推动了多模态数学推理领域的技术进步。