UGMathBench is a diverse and dynamic benchmark specifically designed for evaluating undergraduate-level mathematical reasoning with LLMs. UGMathBench comprises 5,062 problems across 16 subjects and 11
MATHHAY是由Salesforce AI Research和新加坡管理大学共同创建的一个自动化基准数据集,旨在评估大型语言模型在长上下文环境中的数学推理能力。该数据集涵盖了从单一文档到多文档、单一步骤到多步骤的多种难度级别的数学推理任务,适用于32K到128K tokens的长度。MATHHAY的创建过程包括文档收集、问题生成、质量控制和海量文档构建四个主要阶段,确保数据集的高质量和真实性。该