REALMATH

REALMATH是一个全新的基准，直接从研究论文和数学论坛中提取，用于评估大型语言模型在真实数学任务上的能力。该数据集来源于大约9000篇数学相关的学术论文，并自动过滤和生成问题-答案对，以评估LLMs在研究数学方面的能力。

搜集汇总

数据集介绍

构建方式

REALMATH数据集的构建采用了创新的自动化流程，从arXiv预印本和数学论坛（如Stack Exchange）中提取研究级数学内容。通过精心设计的筛选机制，仅保留具有明确、可验证答案的数学陈述，并将其转化为问答对。该流程包括五个关键步骤：论文检索、LaTeX源码解析、定理筛选、问答对生成以及低质量样本过滤，确保了数据的高质量和多样性。

特点

REALMATH数据集的核心特点在于其研究级数学内容的真实性和多样性。数据集覆盖了广泛的数学领域，包括数论、组合数学、代数几何等，反映了实际研究中的数学问题。此外，数据集支持持续更新，避免了测试集污染问题，并通过自动化评估方法确保了答案的可验证性。数据集中的问题难度分布广泛，从基础到高级研究问题均有涵盖，为评估语言模型在数学研究中的实际应用提供了全面基准。

使用方法

REALMATH数据集的使用方法主要包括三个步骤：首先，将数据集中的问答对输入待评估的语言模型；其次，根据提供的上下文信息（如论文背景或论坛讨论）生成答案；最后，通过自动化验证机制或人工评估判断答案的正确性。数据集特别适用于评估语言模型在研究级数学问题上的推理能力和知识掌握程度，同时也为模型在数学辅助工具开发中的应用提供了重要参考。

背景与挑战

背景概述

REALMATH数据集由ETH Zurich的研究团队于2025年提出，旨在解决现有大型语言模型（LLMs）在数学推理评估中的局限性。传统基准主要依赖于竞赛题目、形式化证明或人为设计的难题，未能真实反映数学研究环境中的实际需求。REALMATH直接从研究论文和数学论坛中提取问题，评估LLMs在真实数学任务中的表现。该数据集的核心研究问题是如何构建一个能够持续更新、避免数据污染且能自动评估的研究级数学基准。REALMATH的推出为数学研究领域提供了一种新的评估范式，显著提升了LLMs在数学研究中的实用性。

当前挑战

REALMATH数据集面临的挑战主要包括两个方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，数据集需解决如何准确评估LLMs在复杂且多样化的研究级数学问题中的表现，这些问题通常缺乏标准化答案或形式化证明。在构建过程中，挑战包括如何从大量研究论文和论坛中筛选出高质量、可验证的数学陈述，以及如何设计一个可持续更新的数据集以避免数据污染。此外，自动化评估方法的可靠性也是一个关键挑战，尤其是在处理非形式化或模糊的数学陈述时。

常用场景

经典使用场景

REALMATH数据集作为评估大型语言模型（LLMs）在数学研究领域能力的基准，广泛应用于测试模型对真实数学问题的理解和解答能力。该数据集从研究论文和数学论坛中提取问题，确保问题的多样性和复杂性，使其成为衡量模型在高等数学领域表现的重要工具。

实际应用

在实际应用中，REALMATH数据集被广泛用于评估和改进大型语言模型在数学研究中的辅助能力。例如，研究人员可以利用该数据集测试模型在解决复杂数学问题时的表现，从而优化模型的推理和知识保留能力。此外，该数据集还可用于开发数学教育工具，帮助学生和教师更好地理解和掌握高等数学概念。

衍生相关工作

REALMATH数据集衍生了一系列相关研究工作，包括改进的数学问题生成方法、自动化评估技术以及针对特定数学领域的专用模型。例如，基于REALMATH的研究推动了在形式化证明生成和机器可验证数学领域的进展，如LeanDojo和MiniF2F等项目的开发。这些工作进一步扩展了数据集的应用范围，推动了数学与人工智能交叉领域的发展。