ibranze/araproje_truthful_tr

---
dataset_info:
features:
- name: question
dtype: string
- name: mc1_targets
struct:
- name: choices
sequence: string
- name: labels
sequence: int32
- name: mc2_targets
struct:
- name: choices
sequence: string
- name: labels
sequence: int32
splits:
- name: validation
num_bytes: 204710
num_examples: 250
download_size: 97922
dataset_size: 204710
configs:
- config_name: default
data_files:
- split: validation
path: data/validation-*
---
# Dataset Card for "araproje_truthful_tr"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征字段：
- 名称：问题（question），数据类型：字符串（string）
- 名称：mc1_targets（mc1_targets），结构体包含：
- 名称：选项（choices），类型：字符串序列
- 名称：标签（labels），类型：32位整数序列
- 名称：mc2_targets（mc2_targets），结构体包含：
- 名称：选项（choices），类型：字符串序列
- 名称：标签（labels），类型：32位整数序列
数据集划分：
- 划分集名称：验证集（validation），字节数：204710，样本数量：250
下载大小：97922
数据集总大小：204710
配置项：
- 配置名称：默认（default），数据文件：
- 划分集：验证集（validation），文件路径：data/validation-*
---
# 「araproje_truthful_tr」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征:
  • question: 类型为字符串。
  • mc1_targets: 包含以下结构:
    • choices: 字符串序列。
    • labels: 整数序列。
  • mc2_targets: 包含以下结构:
    • choices: 字符串序列。
    • labels: 整数序列。
• 分割:
  • validation: 包含250个样本，总字节数为204710。

数据集大小

• 下载大小: 97922字节。
• 数据集大小: 204710字节。

配置

• 配置名称: default
• 数据文件:
  • validation: 路径为data/validation-*。

搜集汇总

数据集介绍

构建方式

在自然语言处理与可信赖人工智能交叉领域，评估模型生成内容的真实性至关重要。该数据集ibranze/araproje_truthful_tr专为土耳其语场景设计，其构建基于现有英文TruthfulQA数据集的本土化迁移与适配。通过系统性的翻译与文化校准流程，确保问题与答案选项在土耳其语言环境中保持语义等价性与语境合理性。数据集结构包含question字段存储问题文本，以及mc1_targets与mc2_targets两个多选目标结构，每个结构分别提供choices（选项列表）与labels（正确标签索引），从而支持不同粒度的真实性评估任务。

特点

该数据集最显著的特点在于其聚焦于土耳其语模型的事实性判别能力，填补了非英语语言真实性评估资源的空白。仅包含验证集（validation）共计250个样本，规模紧凑但经过精心筛选，确保每个问题均能有效触发模型对常见谬误或虚假信息的辨识。mc1_targets与mc2_targets的双轨设计，分别对应单正确与多正确选项场景，使得评估维度更为丰富。数据集总量约200KB，轻量高效，便于集成至各类评测流水线。

使用方法

使用该数据集时，建议通过HuggingFace Datasets库直接加载，指定配置名为default并选择validation分割。对于每个问题，可将question字段输入待评估的土耳其语模型，并依据mc1_targets或mc2_targets中的choices与labels计算模型输出与真实标签的一致性。典型应用包括计算准确率、F1分数等指标，以衡量模型在多选题范式下的事实性回答能力。数据格式简洁，支持快速扩展至微调或零样本评测场景。

背景与挑战

背景概述

在自然语言处理领域，大型语言模型的真实性评估已成为一个关键研究课题。ibranze/araproje_truthful_tr数据集由土耳其研究团队于近期创建，旨在填补土耳其语模型真实性基准的空白。该数据集基于TruthfulQA框架，包含250个精心设计的验证集样本，每个样本配备多选题和二元判断两种评估目标，专门用于检测语言模型在事实性知识上的幻觉倾向。作为首个土耳其语真实性评估数据集，它弥补了非英语语言在模型可靠性研究中的不足，为跨语言模型评估提供了重要工具，对推动多语言AI系统的可信度建设具有深远影响。

当前挑战

该数据集面临的核心挑战在于构建高质量的土耳其语真实性评估样本，需要平衡问题难度与语言文化特异性。具体而言，研究人员需设计能够有效区分模型真实回答与常见误解的对抗性问题，同时确保翻译或本地化过程不丢失原始TruthfulQA的评估意图。此外，250个样本的规模限制了统计显著性，需在有限资源下最大化覆盖不同知识领域。构建过程中还面临标注一致性难题，需确保多轮人工审核对齐土耳其语语境下的真实性标准，避免文化偏见影响评估结果的可比性。

常用场景

经典使用场景

在自然语言处理与人工智能对齐研究领域，ibranze/araproje_truthful_tr数据集作为土耳其语事实性评估的标杆资源，被广泛应用于大语言模型（LLM）的诚实性与知识一致性测试。该数据集通过精心设计的问答对，聚焦于模型在生成回答时是否倾向于传播常见误解或虚假信息，尤其适用于跨语言事实性基准的构建。研究者常将其嵌入多语言评估框架，用于量化模型在不同语言环境下对抗幻觉现象的能力，从而推动语言模型在非英语语种中的鲁棒性验证。

解决学术问题

该数据集的核心学术价值在于填补了土耳其语事实性评估工具的空白，解决了现有基准过度集中于英语而导致的语言偏置问题。通过提供250个验证样本，它使研究者能够系统性地评估模型在土耳其语语境下对常识性谬误的辨识能力，揭示了模型在低资源语言中更易产生幻觉的普遍规律。这一发现促进了多语言对齐策略的改进，为构建跨语言事实性约束的损失函数提供了关键实验依据，推动了语言模型公平性研究的发展。

衍生相关工作

该数据集衍生出一系列针对低资源语言事实性增强的经典工作。研究者基于其样本结构，提出了土耳其语专用的对抗性提示生成方法，通过动态构造误导性上下文来测试模型边界。同时，它被整合进多语言幻觉检测基准如TruthfulQA的扩展版本中，催生了跨语言知识蒸馏框架的改进。部分工作还利用该数据集训练了土耳其语幻觉分类器，实现了对模型输出中潜在错误主张的实时预警，形成了从评估到防御的闭环研究范式。