carminho/hendrycks-math-ptpt

这是一个葡萄牙语（欧洲葡萄牙语，pt-PT）翻译版本的Hendrycks MATH基准数据集，涵盖多个数学主题的综合数学问题数据集。数据集翻译自EleutherAI/hendrycks_math，使用大语言模型Gemma-4 31B通过vLLM进行翻译。它包含多个配置，覆盖代数、计数与概率、几何、中级代数、数论、预代数和微积分预备等主题，每个主题分为训练和测试分割。数据集结构保持与原基准相同，仅自然语言文本字段被翻译，数学表达式、公式和数值答案保持不变。Portuguese (European Portuguese, pt-PT) translation of Hendrycks MATH benchmark - comprehensive mathematics problem dataset covering multiple topics. This dataset is a Portuguese (pt-PT) translation of EleutherAI/hendrycks_math. The translation was performed using a large language model via vLLM using Gemma-4 31B. It contains multiple configurations covering different mathematical topics: algebra, counting_and_probability, geometry, intermediate_algebra, number_theory, prealgebra, and precalculus, each with train and test splits. The dataset maintains the same structure as the original benchmark, with only natural language text fields translated - mathematical expressions, formulas, and numerical answers remain unchanged.

搜集汇总

数据集介绍

构建方式

在数学推理与自然语言处理的交叉领域中，高质量的多语言基准数据集是推动模型泛化能力的关键。Hendrycks-MATH作为广受认可的英文数学推理基准，其葡萄牙语译本——hendrycks-math-ptpt的诞生填补了该语言下数学问题评测资源的空白。该数据集基于EleutherAI/hendrycks_math原始语料，借助大型语言模型Gemma-4 31B通过vLLM引擎执行自动化翻译，严格保留数学表达式、公式及数值答案不变，仅对自然语言文本字段进行葡萄牙语（欧洲变体）转化，从而确保数学推理任务的语义一致性。

特点

该数据集涵盖代数学、计数与概率论、几何学、中级代数、数论、初等代数及初等微积分七大数学子领域，每个主题均独立配置训练集与测试集，形成结构化完备的评测体系。其核心特点在于完整继承原始基准的数据结构与字段定义，仅语言层面迁移，使得研究者能够无缝对接既有评估流程。翻译过程依托尖端语言模型，在保持题目严谨性的同时，实现了跨语言语义的高保真对齐，尤其适用于评估葡萄牙语环境下数学推理模型的本土化表现。

使用方法

研究者可通过HuggingFace Datasets库便捷加载该数据集，利用load_dataset函数指定具体配置名称（如“algebra”）及所需划分（train或test）即可获取对应子集。数据加载后，原始题目、答案及元数据字段完整保留，便于直接适配各类数学推理任务的训练与评测管道。该设计消除了语言转换带来的工程适配负担，支持从单一主题测试到全领域综合评估的灵活实验需求，是推动葡萄牙语数学AI研究的重要工具。

背景与挑战

背景概述

Hendrycks MATH基准测试是由Dan Hendrycks等人于2021年提出的一个综合性数学问题数据集，广泛用于评估大语言模型的数学推理能力。该数据集涵盖代数、几何、数论、概率与计数、微积分预备等多个数学分支，包含超过12,500道来自高中数学竞赛的高难度题目。Hendrycks-MATH-PTPT数据集是基于该基准的葡萄牙语（欧洲葡语）翻译版本，由研究者利用Gemma-4 31B大语言模型通过vLLM框架完成翻译，保留了原始数据集的全部结构，仅对自然语言文本字段进行本地化处理。该多语言扩展版本为葡萄牙语数学推理研究提供了关键资源，推动了多语言环境下AI推理能力的评估与发展。

当前挑战

Hendrycks-MATH-PTPT数据集致力于解决多语言环境中数学推理能力评估的挑战。原始MATH数据集以英文呈现，限制了其在非英语AI社区的应用；该葡语版本通过高质量的机器翻译，使葡萄牙语模型能够直接参与数学推理基准测试，填补了该语言在数学推理评测中的空白。构建过程中面临两大挑战：一是确保翻译的准确性与数学术语的规范性，避免歧义或错误；二是维护数学表达式与数字答案的原貌，仅翻译自然语言描述，这对翻译模型的数学理解能力提出了高要求。此外，保持所有子任务（如代数、几何等）的数据平衡与难度一致性，也是保障基准有效性的关键难点。

常用场景

经典使用场景

在自然语言处理与数学推理的交汇领域，hendrycks-math-ptpt数据集扮演着评估和提升多语言数学推理能力的关键角色。其经典使用场景聚焦于训练和测试葡萄牙语（欧洲葡萄牙语）环境下的大语言模型，使其能够理解并解决涵盖代数、几何、数论、概率统计及微积分预备知识等多领域的数学问题。研究者通常利用该数据集对模型进行微调或零样本评估，以验证其在非英语语境下处理复杂符号推理与文字应用题的综合能力，从而推动多语言数学人工智能的边界拓展。

衍生相关工作

hendrycks-math-ptpt数据集的诞生衍生了一系列富有洞见的后续工作。具体而言，研究人员以该葡萄牙语数学基准为基础，开展了多语言模型在数学推理任务上的系统对比实验，揭示了Gemma、Llama等主流模型在葡萄牙语环境下的能力短板。进一步地，有工作基于此数据集探索了跨语言数据增强策略，通过将英语数学问题与葡萄牙语翻译混合训练，显著提升了模型在多语言数学基准上的泛化性能。此外，该数据集还催生了针对低资源语言数学推理的细粒度分析研究，例如考察题目标签（如几何与代数）对翻译质量与推理准确率的交互影响，这些成果共同深化了学界对多语言数学推理机理的理解。

数据集最近研究

最新研究方向

面向葡萄牙语（欧洲）的数学推理基准翻译与评估成为当前低资源语言大模型能力研究的前沿探索。hendrycks-math-ptpt数据集将具有广泛影响力的Hendrycks MATH基准全面译入葡语，覆盖代数、几何、数论等七个核心数学领域，填补了数学推理在葡语社区的稀缺资源空白。该数据集的构建利用Gemma-4 31B大模型完成翻译，仅转换自然语言文本而保留数学表达式与数值答案，确保了逻辑推理结构的完整性。这一工作紧贴多语言大模型评测的热点，尤其在葡语国家（如葡萄牙、巴西）推动AI教育应用中具有重要意义，为评估模型在非英语环境下的数学思维与解题能力提供了标准化利器，也推动了跨语言推理能力的系统化研究。