issai/defan_kazakh

DefAn Kazakh 是原始DefAn（Definitive Answer）幻觉基准的机器翻译哈萨克语版本，旨在评估大语言模型在事实准确性和确定性问答方面的表现，涵盖多个主题。数据集包含3,178个问题，分为6个类别（原始英文基准有8个类别，但排除了Census Australia和Math类别）。数据集同时提供原始英文文本和哈萨克语翻译，以支持跨语言评估和与原始基准的直接比较。数据字段包括英文问题、英文答案、答案类型、哈萨克语问题、哈萨克语答案和领域类别标识符。DefAn Kazakh is a machine-translated Kazakh version of the original DefAn (Definitive Answer) hallucination benchmark, designed to evaluate large language models on factual accuracy and definitive question answering across diverse topics. The dataset contains exactly 3,178 questions spanning 6 categories (while the original English benchmark had 8 categories, excluding Census Australia and Math). Both the original English texts and their Kazakh translations are included side-by-side to enable cross-lingual evaluation and direct comparison with the original benchmark. Data fields include English questions, English answers, answer types, Kazakh questions, Kazakh answers, and domain category identifiers.

搜集汇总

数据集介绍

构建方式

DefAn Kazakh数据集是基于原始英文DefAn幻觉基准测试数据集，通过机器翻译技术构建而成的哈萨克语版本。原始数据集包含8个类别的问答样本，本版本排除了“Census Australia”与“Math”两个类别，最终保留了6个领域共3,178条测试样本。每条数据包含英文原版的问题与答案、对应的哈萨克语翻译版本，以及答案类型和领域标识，从而形成了双语对齐的结构化评测资源。

特点

该数据集的核心特点在于其双语对照设计，同时呈现英文原始文本与哈萨克语机器翻译结果，便于跨语言评测与大语言模型在多语言场景下的幻觉检测能力。数据覆盖六大领域，答案类型涵盖名称、日期、数字等多种形式，能够全面评估模型在事实性问答中的准确性。此外，数据规模适中，仅包含测试集，适合作为标准化幻觉评估基准。

使用方法

用户可通过HuggingFace Datasets库直接加载该数据集，指定配置文件为'default'，即可获取包含3,178条测试样本的数据框。每条记录包含questions、answer、KK_question、KK_answer等字段，可用于评估模型在英文和哈萨克语上的事实一致性。通过对比模型输出与标准答案，可计算准确率等指标，适用于多语言幻觉检测研究或跨语言问答系统的性能评估。

背景与挑战

背景概述

DefAn Kazakh 数据集诞生于大语言模型（LLM）事实性评估需求日益增长的时代背景下，由研究者基于原始的英文学术基准 DefAn（Definitive Answer）通过机器翻译技术构建而成。该数据集聚焦于低资源语言——哈萨克语，旨在评估大语言模型在多语言环境下的事实准确性与确定性问答能力。数据集包含 3178 个问题，覆盖 6 个领域，其核心研究问题在于探讨模型在面对哈萨克语这一在自然语言处理研究中相对边缘化的语言时，能否保持与英语同等水平的事实判断能力。通过对原始英语基准的跨语言迁移，DefAn Kazakh 为多语言自然语言处理提供了关键的验证工具，推动了低资源语言评估体系的完善。

当前挑战

该数据集面临的核心挑战包括：领域问题层面上，大语言模型在哈萨克语环境中的事实性幻觉（hallucination）检测尤为困难，模型常因语料稀缺而生成与事实相悖的答案，且难以通过传统评估指标有效量化。构建过程中，挑战主要体现在两个层面：其一，机器翻译的准确性不足，可能导致原始基准中部分问题的语义损失或歧义，影响跨语言比较的可靠性；其二，原始数据集中“Census Australia”与“Math”两个类别的移除，致使哈萨克语版本的领域覆盖度降低，限制了评估模型的全面性，尤其是对数学推理能力的评估缺失，成为该数据集的一个结构性短板。

常用场景

经典使用场景

DefAn Kazakh数据集作为机器翻译生成的哈萨克语幻觉检测基准，主要服务于哈萨克语大语言模型的真实性评估任务。该数据集涵盖6个知识领域，包含3178个确定性问答对，每个样本均配备英语和哈萨克语双语对照版本。研究者可基于此数据集评测模型在事实性问答中的准确性，尤其关注模型是否会产生与事实不符的虚假信息。经典使用方式是将数据集作为测试集，在零样本或少样本场景下评估哈萨克语模型的幻觉率，通过比较模型输出与标准答案的匹配程度来量化模型的真实性问题。

实际应用

在实际应用层面，DefAn Kazakh可部署于多个关键场景。在哈萨克语智能问答系统中，该数据集可作为持续监控模型幻觉率的标准化验证工具，帮助开发团队在发布前识别并修正模型错误。在政府或企业级的多语言信息服务中，利用该数据集可确保哈萨克语版本的事实性回答与英语原版保持高度一致，避免因翻译不一致导致的误导。此外，该数据集还可用于机器翻译质量的间接评估，通过检查译后问答任务的一致性来反映翻译系统的准确性。在哈萨克文化传承与知识普及领域，基于该数据集的模型能够在历史、地理、科学等多个维度提供可靠的哈萨克语权威解答。

衍生相关工作

DefAn Kazakh数据集的发布催生了多项衍生研究工作。研究者可基于其双语对照特性开展跨语言知识迁移研究，例如分析英语大模型在哈萨克语上的知识蒸馏效率。该数据集还可作为多语言模型微调效果的验证基准，推动哈萨克语专属大语言模型的开发。在产品层面，衍生出集成事实性检查功能的哈萨克语对话系统，通过结合检索增强生成技术来降低模型幻觉。在学术方向上，相关工作包括拓展至其他突厥语系语言的事实性基准构建，以及利用该数据集设计新的幻觉检测指标与评估方法。这些衍生工作进一步放大了原数据集在低资源语言安全性研究中的影响力。