AI4Math/MathVista|数学推理数据集|多模态问答数据集

MathVista是一个整合了视觉上下文中的数学推理基准。它包含了三个新创建的数据集：IQTest、FunctionQA和PaperQA，这些数据集旨在评估在拼图测试图上的逻辑推理、函数图上的代数推理以及学术论文图上的科学推理。此外，MathVista还整合了9个MathQA数据集和19个VQA数据集，这些数据集显著丰富了视觉感知和数学推理挑战的多样性和复杂性。MathVista总共包含了来自31个不同数据集的6,141个示例。

原始信息汇总

数据集概述

MathVista 是一个专注于数学推理在视觉环境中应用的基准数据集。该数据集包含三个新创建的数据集：IQTest, FunctionQA, 和 PaperQA，以及从文献中整合的9个MathQA数据集和19个VQA数据集，共计6,141个示例，来自31个不同的数据集。

数据集特性

• 语言: 包含英语（en）、中文（zh）和波斯语（fa）。
• 许可证: 使用CC BY-SA 4.0许可证。
• 多语言性: 支持单语种数据。
• 大小分类: 数据集大小介于1,000到10,000之间。
• 任务类别: 包括多项选择、问答、视觉问答和文本分类。
• 任务ID: 涵盖多项选择问答、封闭领域问答、开放领域问答、视觉问答和多类分类。
• 标签创建者: 包括专家生成和发现的数据。
• 语言创建者: 同样包括专家生成和发现的数据。

数据集结构

• 特征:

  • pid: 字符串类型，问题ID。
  • question: 字符串类型，问题文本。
  • image: 字符串类型，图像路径。
  • decoded_image: 图像类型，解码后的图像。
  • choices: 字符串序列，选择项。
  • unit: 字符串类型，答案单位。
  • precision: 浮点数类型，答案精度。
  • answer: 字符串类型，正确答案。
  • question_type: 字符串类型，问题类型。
  • answer_type: 字符串类型，答案类型。
  • metadata: 结构化数据，包含类别、上下文、年级、图像高度和宽度、语言、技能、来源、分割和任务等信息。
  • query: 字符串类型，查询文本。

• 分割:

  • testmini: 包含1,000个示例，用于模型开发和验证。
  • test: 包含5,141个示例，用于标准评估。

数据集下载和使用

数据集可以通过Huggingface Datasets库下载，并提供了详细的JSON格式数据结构说明，方便用户理解和使用。

数据集标签和来源

数据集的标签包括专家生成和发现的数据，来源包括原始数据集和其他28个数据集。所有数据都已预处理和标注，以供评估使用。

AI搜集汇总

数据集介绍

构建方式

MathVista数据集的构建融合了专家生成和现有资源，涵盖了三个新创建的数据集：IQTest、FunctionQA和PaperQA，以及从文献中整合的9个MathQA数据集和19个VQA数据集。这些数据集共同构成了一个包含6,141个示例的综合数学推理基准，旨在评估在视觉上下文中的逻辑推理能力。

特点

MathVista数据集的显著特点在于其多模态性质，结合了文本和图像信息，涵盖了多种数学推理技能，如算术、代数、几何和科学推理等。此外，数据集支持多种语言，包括英语、中文和波斯语，增强了其跨文化应用的潜力。

使用方法

MathVista数据集可通过HuggingFace Datasets库进行下载和访问。用户可以通过加载数据集并指定配置名称来获取数据。数据集提供了详细的元数据，包括问题类型、答案格式和图像信息，便于用户进行数据分析和模型评估。

背景与挑战

背景概述

MathVista数据集是由AI4Math团队创建的一个综合性的数学推理基准，专注于视觉上下文中的数学问题。该数据集于2023年发布，主要研究人员包括Lu Pan等人，隶属于多个知名机构，如华盛顿大学和微软研究院。MathVista的核心研究问题是如何在视觉环境中评估和提升基础模型的数学推理能力。它整合了三个新创建的数据集（IQTest、FunctionQA和PaperQA）以及来自文献的9个MathQA数据集和19个VQA数据集，共计6,141个样本，涵盖了广泛的数学和科学领域。这一数据集的推出，极大地丰富了视觉感知和数学推理任务的多样性和复杂性，对推动多模态学习和数学教育领域的研究具有重要意义。

当前挑战

MathVista数据集面临的挑战主要集中在两个方面。首先，构建过程中需要整合和标准化来自31个不同数据集的样本，这要求高度的数据清洗和标注一致性。其次，该数据集旨在解决视觉上下文中的数学推理问题，这涉及到复杂的图像理解和多步骤的逻辑推理，对模型的视觉感知和数学推理能力提出了极高的要求。此外，数据集的多样性和复杂性也增加了模型训练和评估的难度，特别是在处理不同语言和不同学科的数学问题时。这些挑战不仅推动了数据集本身的完善，也为相关领域的研究提供了新的方向和机遇。

常用场景

经典使用场景

MathVista数据集在数学推理与视觉上下文结合的领域中具有经典应用。其主要用于评估模型在处理复杂数学问题时的视觉理解能力，特别是在几何、代数和统计推理等方面。通过提供包含图像和文本的多模态数据，MathVista帮助研究者开发和验证能够结合视觉信息进行精确数学推理的模型。

实际应用

MathVista数据集在实际应用中展现了其广泛潜力。例如，在教育领域，它可以用于开发智能辅导系统，帮助学生通过视觉辅助工具更好地理解和解决数学问题。此外，在科学研究和工程设计中，MathVista可以用于自动化数据分析和报告生成，提高工作效率和准确性。

衍生相关工作

MathVista数据集的发布催生了一系列相关研究工作。例如，研究者们利用该数据集开发了新的多模态学习算法，提升了模型在视觉和文本结合任务中的表现。此外，MathVista还激发了对数学教育中视觉辅助工具的研究，推动了教育技术的创新。这些工作不仅扩展了数据集的应用范围，也为未来的研究提供了丰富的资源和灵感。