malhajar/truthfull_qa-tr

TruthfulQA-tr是TruthfulQA数据集的土耳其语翻译版本，专门用于在OpenLLMTurkishLeaderboard中评估土耳其语言模型的性能。该数据集包含817个问题，涵盖38个类别，如健康、法律、金融和政治。问题设计旨在测试模型在生成答案时是否真实，避免模仿人类文本中的错误答案。数据集分为生成和多项选择两种配置，每种配置都包含相同的问题。

原始信息汇总

数据集概述

基本信息

• 数据集名称: TruthfulQA
• 语言: 土耳其语
• 许可证: Apache 2.0
• 多语言性: 单语种
• 数据集大小: n<1K
• 源数据集: 原始数据
• 任务类别: 多选题、文本生成、问答
• 任务ID: 多选题问答、语言建模、开放领域问答
• Papers with Code ID: truthfulqa
• 美观名称: TruthfulQA

数据集配置

生成配置

• 配置名称: generation
• 特征:
  • type: 字符串，表示问题是否由对抗性程序生成（"Adversarial" 或 "Non-Adversarial"）。
  • category: 字符串，问题的类别，如 "Law"、"Health" 等。
  • question: 字符串，设计用来引起模仿性错误答案的问题。
  • best_answer: 字符串，最佳正确且真实的答案。
  • correct_answers: 字符串列表，正确（真实）答案。
  • incorrect_answers: 字符串列表，错误（虚假）答案。
  • source: 字符串，问题内容的来源。
• 数据分割:
  • validation: 816个样本，507762字节
• 下载大小: 222649字节
• 数据集大小: 473382字节

多选题配置

• 配置名称: multiple_choice
• 特征:
  • question: 字符串，设计用来引起模仿性错误答案的问题。
  • mc1_targets: 字典，包含以下字段：
    • choices: 4-5个答案选择字符串。
    • labels: 整数32位标签列表，其中 0 表示错误，1 表示正确。列表中有一个 1。
  • mc2_targets: 字典，包含以下字段：
    • choices: 4个或更多答案选择字符串。
    • labels: 整数32位标签列表，其中 0 表示错误，1 表示正确。列表中可以有多个 1。
• 数据分割:
  • validation: 816个样本，666864字节
• 下载大小: 271033字节
• 数据集大小: 609082字节

数据集创建

数据收集和规范化

• 初始数据收集: 通过对抗性程序生成问题，使用GPT-3-175B（QA提示）作为目标模型。
• 源语言生产者: Stephanie Lin, Jacob Hilton, 和 Owain Evans。

注释

• 注释者: Stephanie Lin, Jacob Hilton, 和 Owain Evans。

许可证信息

• 许可证: Apache License, Version 2.0

引用信息

bibtex @misc{lin2021truthfulqa, title={TruthfulQA: Measuring How Models Mimic Human Falsehoods}, author={Stephanie Lin and Jacob Hilton and Owain Evans}, year={2021}, eprint={2109.07958}, archivePrefix={arXiv}, primaryClass={cs.CL} }

贡献

• 翻译者: Mohamad Alhajar

搜集汇总

数据集介绍

构建方式

该数据集是基于英文TruthfulQA基准的土耳其语翻译版本，旨在为土耳其语大语言模型提供严格的评测基准。原始数据由Stephanie Lin等人通过对抗性流程构建，包含817个问题，覆盖健康、法律、金融、政治等38个类别。问题设计旨在诱导模型产生模仿人类文本中习得的虚假回答。土耳其语版本由Mohamad Alhajar进行专业翻译，保留了原始数据的全部结构和标注信息，包括生成模式和多项选择模式两种配置，分别提供最佳答案、正确与错误答案列表，以及多选任务的标签体系。

使用方法

数据集可通过HuggingFace Datasets库直接加载，支持两种配置：'generation'用于开放式文本生成任务，'multiple_choice'用于多项选择问答。用户可根据任务需求选择相应配置，例如使用'generation'配置评估模型生成回答的真实性，或使用'multiple_choice'配置进行标准的多选评测。数据仅包含验证集，共817个样本，适用于模型性能的快速验证。该数据集已被集成至OpenLLMTurkishLeaderboard，可作为土耳其语大语言模型的标准化评测工具。

背景与挑战

背景概述

在自然语言处理领域，大语言模型在生成流畅文本的同时，常因模仿人类语料中的谬误而产生不实回答，这一问题在非英语语言中尤为突出。为应对这一挑战，Mohamad Alhajar于2023年基于Stephanie Lin等人于2021年发布的TruthfulQA英文基准，构建了土耳其语版本malhajar/truthful_qa-tr。该数据集由817个精心设计的问题组成，涵盖健康、法律、金融与政治等38个类别，旨在评估土耳其语大模型在避免生成虚假信息方面的能力。作为OpenLLMTurkishLeaderboard的核心评估工具，它填补了土耳其语模型真实性评测的空白，推动了该语言领域模型性能的公正比较与进步。

当前挑战

当前面临的核心挑战首先在于领域问题：大语言模型在土耳其语中同样易受常见误解与虚假信念的影响，如何系统性地衡量模型在跨领域问答中的真实性，成为提升模型可信度的关键。其次，构建过程中，研究者需将原始英文问题精确翻译为土耳其语，同时确保文化语境下的误解仍具代表性，这要求对两种语言中的错误认知有深刻理解。此外，过滤掉模型能轻易答对的问题以保持评测难度，以及平衡对抗性与非对抗性问题的比例，均为数据构建增添了复杂性。这些挑战共同决定了该数据集在推动土耳其语模型真实性研究中的独特价值与难度。

常用场景

经典使用场景

malhajar/truthfull_qa-tr 数据集是 TruthfulQA 基准的土耳其语翻译版本，专为评估土耳其语大语言模型（LLM）在生成回答时的真实性而设计。该数据集包含817个精心设计的问题，涵盖健康、法律、金融、政治等38个类别，旨在检测模型是否会在模仿人类文本时产生虚假或误导性回答。最经典的使用场景是作为土耳其语LLM的标准化评测基准，通过生成任务（generation）和多项选择任务（multiple_choice）两种配置，全面衡量模型在开放域问答和语言建模中的真实性表现。研究者可利用该数据集对模型进行对抗性测试，识别其在面对常见误解或虚假信念时的脆弱性，从而推动更可靠、更可信的土耳其语语言模型开发。

解决学术问题

该数据集的核心学术贡献在于解决大语言模型在生成回答时普遍存在的“模仿性虚假”（imitative falsehoods）问题。在自然语言处理领域，模型常因过度模仿人类文本中的错误信息而产生不真实回答，而传统评测基准多聚焦于事实准确性，缺乏对模型主动避免虚假陈述能力的系统评估。TruthfulQA 通过设计对抗性问题，模拟人类因误解或错误信念而答错的情境，为研究者提供了一种量化模型真实性的严谨工具。其土耳其语版本进一步填补了低资源语言在真实性评测上的空白，促进了跨语言模型的公平比较，并推动学术界关注语言模型在知识传播中的伦理风险，具有深远的方法论意义。

实际应用

在实际应用中，该数据集为土耳其语AI系统的安全部署提供了关键保障。例如，在医疗咨询、法律建议或金融问答等高风险场景中，模型必须避免生成基于虚假信息的回答，以免误导用户。通过 TruthfulQA-tr 的评测，开发者可以筛选出易产生幻觉或虚假陈述的模型，并针对性地进行微调或强化学习优化。此外，该数据集已集成至 OpenLLMTurkishLeaderboard 排行榜，成为土耳其语LLM社区的标准性能指标之一，助力企业选择更可靠的模型用于客户服务、教育辅助或内容审核等实际任务，从而提升AI产品的可信度与用户体验。

数据集最近研究

最新研究方向

当前，土耳其语大语言模型（LLM）的评估基准建设正成为自然语言处理领域的前沿热点。malhajar/truthful_qa-tr数据集作为TruthfulQA的土耳其语译本，精准聚焦于衡量模型在回答问题时避免模仿人类虚假信念的能力，这一方向与全球范围内对LLM可信度与安全性的迫切需求紧密相连。该数据集涵盖健康、法律、金融等38个类别，通过精心设计的对抗性问题，旨在揭示模型在生成真实回答时的潜在缺陷。其发布不仅为土耳其语LLM的性能评估提供了首个严格的基准，更通过融入OpenLLMTurkishLeaderboard排行榜，推动了低资源语言领域模型透明化与可靠性的研究进程，对促进多语言AI系统的伦理对齐具有深远意义。