issai/PolyMath_Kazakh

PolyMath_Kazakh是原始PolyMath基准的哈萨克语机器翻译版本，旨在评估哈萨克语的数学推理能力，特别是语言模型理解问题陈述、逐步推理和产生正确答案的能力。原始PolyMath数据集包含约9,000个数学问题，覆盖多个难度级别。在此版本中，问题陈述被翻译成哈萨克语，而原始答案和总体结构保持不变。

PolyMath_Kazakh is a machine-translated Kazakh version of the original PolyMath benchmark. It is designed to evaluate mathematical reasoning in Kazakh, especially the ability of language models to understand problem statements, reason step by step, and produce correct final answers. The original PolyMath dataset contains around 9,000 math problems across several difficulty levels. In this version, the problem statements are translated into Kazakh while the original answers and general structure are preserved.

搜集汇总

数据集介绍

构建方式

PolyMath_Kazakh 数据集是基于原始 PolyMath 基准测试通过机器翻译技术构建而成的哈萨克语版本。原始数据集包含约 9000 道涵盖多个难度等级的数学问题，本版本在保留原题答案与整体结构的基础上，将问题叙述文本精准翻译为哈萨克语，形成适用于评估哈萨克语数学推理能力的专用资源。

特点

该数据集具有清晰的字段结构，每条样本包含唯一标识符 `id`（隐含难度等级信息如 low、medium、high、top）、哈萨克语问题描述 `question_kk` 以及标准答案 `answer`（可为数值或符号形式）。数据规模小于 1000 条（n<1K），以 Parquet 格式存储于单一测试集分割中，便于高效加载与使用。

使用方法

研究者可通过加载 `PolyMath_Kazakh_translated.parquet` 文件获取数据，利用 `question_kk` 字段作为模型输入，评估模型对哈萨克语数学题意的理解、逐步推理及最终答案生成能力。答案字段提供明确比对标准，适用于监督式微调或零样本评估场景，尤其适合用于检验多语言模型在低资源语言上的数学推理表现。

背景与挑战

背景概述

PolyMath_Kazakh是面向哈萨克语的数学推理评估数据集，由研究团队基于原始PolyMath基准通过机器翻译技术构建而成，创建时间可追溯至大语言模型评估需求激增的近期阶段。该数据集的核心研究问题聚焦于评估语言模型在哈萨克语场景下理解数学问题、进行逐步推理并输出正确最终答案的能力。作为首个面向哈萨克语数学推理的标准化测试集，PolyMath_Kazakh填补了低资源语言在复杂认知任务评估中的空白，对推动多语言人工智能系统特别是中亚地区语言技术的公平性研究具有启示意义。其影响力体现在为学界提供了跨语言数学推理能力的可比较基准，助力揭示模型在不同语言环境下的认知表现差异。

当前挑战

该数据集所解决的领域问题核心挑战在于：现有数学推理基准多集中于英语等高资源语言，而哈萨克语等低资源语言缺乏标准化的推理评估工具，导致模型在非英语环境下的泛化能力与推理机制难以量化。构建过程中遭遇的挑战包括：机器翻译质量对数学问题语义保真度的潜在侵蚀——复杂数学术语或隐含逻辑的翻译可能引入歧义或错误；原始数据集中难度标签（如低、中、高、顶）在翻译后被移除，使难度层次与语言适配性的关联分析受限；此外，仅约9000题的规模在覆盖哈萨克语数学表述多样性方面存在局限，可能影响评估结果的鲁棒性。

常用场景

经典使用场景

PolyMath_Kazakh数据集的核心用途在于评估和提升哈萨克语大语言模型的数学推理能力。该数据集将原有PolyMath基准测试中涵盖低、中、高及顶级难度层次的约9000道数学问题，通过机器翻译转化为哈萨克语，同时保留了标准答案和问题结构。研究人员可利用此数据集测试模型是否能够在哈萨克语环境下，正确理解数学问题的语义表述，逐步进行逻辑推导，并最终得出准确的数值或符号答案。这一设计使得PolyMath_Kazakh成为检验多语言大模型在低资源语言上数学推理能力的经典工具。

衍生相关工作

PolyMath_Kazakh的发布催生了一系列相关研究工作。首先，研究者基于该数据集探索了机器翻译后微调（translate-then-finetune）策略对数学推理任务的影响，对比了不同翻译模型（如通用翻译器与专项优化模型）在保留推理语义上的成效。其次，该数据集被用于评估提示工程（prompt engineering）技术在低资源语言上的鲁棒性，例如链式思考（chain-of-thought）提示在哈萨克语中的有效性。此外，受其启发，学术界衍生出了针对其他突厥语系语言（如乌兹别克语、阿塞拜疆语）的数学推理基准，以及融合跨语言知识蒸馏与数据增强方法的改进工作，进一步拓展了多语言数学推理的研究疆域。

数据集最近研究

最新研究方向

PolyMath_Kazakh数据集作为首个面向哈萨克语的数学推理评估基准，将原版PolyMath的多级难度数学问题通过机器翻译转换为哈萨克语，保留了标准答案与问题结构。在低资源语言与人工智能交叉领域，该数据集聚焦于评测语言模型在哈萨克语场景下的数学问题理解、逐步逻辑推理及精确答案生成能力。其出现顺应了多语言大模型向中亚语言扩展的前沿浪潮，尤其在中亚地区数字化教育、智能辅导系统及语言技术公平性受到国际关注的热点背景下，PolyMath_Kazakh为低资源数学推理研究提供了稀缺的评估资源，助力缩小高资源与低资源语言在AI能力评测上的鸿沟，推动语言模型在多语言数学素养评估领域的包容性发展。