alexandrainst/multi-wiki-qa-synthetic-hallucinations

该数据集是一个多语言数据集，包含多个配置（如ab、ace、ady等，代表不同语言），用于评估语言模型中的幻觉（hallucination）现象。每个样本包含以下特征：上下文（context，作为字符串列表）、问题（question，字符串）、答案（answer，字符串）、幻觉强度（intensity，浮点数）、是否幻觉（hallucination，布尔值）、幻觉部分（hallucinated_parts，字符串列表）和幻觉标签（hallucinated_labels，包含开始位置、结束位置和标签的列表）。数据集仅提供训练划分，样本数量从几百到近8000不等，覆盖多种语言，旨在支持幻觉检测和分析任务。This dataset is a multilingual dataset containing multiple configurations (e.g., ab, ace, ady, etc., representing different languages) for evaluating hallucination phenomena in language models. Each sample includes the following features: context (as a list of strings), question (string), answer (string), intensity (float), hallucination (boolean), hallucinated_parts (list of strings), and hallucinated_labels (list containing start, end, and label). The dataset only provides a train split, with sample counts ranging from a few hundred to nearly 8000, covering various languages, and is designed to support hallucination detection and analysis tasks.

原始信息汇总

数据集概述：multi-wiki-qa-synthetic-hallucinations

• 数据集名称：alexandrainst/multi-wiki-qa-synthetic-hallucinations
• 维护者：Alexandra Institute
• 模态：文本（Text）
• 格式：Parquet
• 大小：100K - 1M 行（实际行数为 647,778 行）
• 总文件大小：669 MB
• 支持库：Datasets、pandas、Polars 等
• 最近月下载量：2,139 次

数据特点

• 子集（Subset）数量：104 个，每个子集对应一种语言/变体代码（如 ab、ace、ady、af、als 等）。
• 划分（Split）：仅包含训练集（train），每个子集的行数各不相同（例如，ab 子集有 2.55k 行，en 子集有 7.99k 行）。
• 列说明：数据包含以下列：
  • context：文本上下文（字符串，长度范围 1-1）。
  • question：基于上下文提出的问题（字符串，长度范围 13-435）。
  • answer：对应问题的答案（字符串，长度范围 1-984）。
  • intensity：幻觉强度（浮点数，范围 0.1-0.86）。
  • hallucination：是否为幻觉（布尔值，二分类：true/false）。
  • hallucinated_parts：幻觉部分的列表（列表，长度范围 0-6）。
  • hallucinated_labels：幻觉标签的列表（列表，长度范围 0-6），每个标签包含起始位置、结束位置和标签名（如“hallucinated”）。

示例数据（以 ab 子集为例）

• 数据包含成对的真实答案和幻觉答案。例如，对于问题“Аԥсны ажәлар раԥхьатәи апоет ҳәа ахьӡ зхархыз ашықәс?”，真实答案为“1937”（hallucination=false），而幻觉答案为“1935”（hallucination=true，intensity=0.300916，hallucinated_parts=[“1935”]）。

附加信息

• 数据集卡（Dataset Card）：READM.md 文件存在但内容为空。
• 数据预览：可通过 Data Studio 查看前几行数据，总预览行数为 2.55k 行（以 ab 子集为例）。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，幻觉检测是评估生成模型可靠性的关键任务。该数据集通过系统化的合成方法构建，从多语言维基百科中提取上下文，并利用先进的生成模型产生问答对。构建过程中，研究者精心植入了不同程度的幻觉内容，同时标注了幻觉的强度、具体位置以及对应的标签，确保了数据在语言学上的多样性和技术上的精确性。

特点

该数据集以其广泛的语言覆盖和精细的标注体系而著称，涵盖了从阿布哈兹语到意大利语等多种语言变体。每个样本不仅包含上下文、问题和答案，还提供了幻觉的布尔标识、强度值以及幻觉部分的详细位置信息。这种多层次的结构设计使得数据集能够支持复杂的幻觉检测与量化分析，为跨语言模型评估提供了坚实的基础。

使用方法

研究人员可利用该数据集进行幻觉检测算法的训练与评估，特别是在多语言环境下。通过加载特定的语言配置，可以访问对应语言的训练集，其中包含的幻觉标注信息可直接用于监督学习。数据集的标准化格式便于集成到现有机器学习流程中，支持从基础分类到细粒度幻觉定位等多种实验场景。

背景与挑战

背景概述

在自然语言处理领域，幻觉生成问题已成为大型语言模型可信度评估的关键障碍。multi-wiki-qa-synthetic-hallucinations数据集应运而生，旨在系统化地检测和量化多语言问答系统中的幻觉现象。该数据集由研究机构通过合成方法构建，覆盖了从阿布哈兹语到意大利语等数十种语言，其核心研究问题聚焦于模型生成答案时可能出现的无依据或矛盾内容。通过引入强度指标和细粒度标注，该数据集为评估模型在多语言环境下的忠实性提供了重要基准，推动了可信人工智能的发展。

当前挑战

该数据集致力于解决多语言问答系统中幻觉检测的挑战，包括模型生成答案与给定上下文不一致、虚构事实以及跨语言语义漂移等问题。构建过程中的挑战涉及多语言数据的高质量合成，需确保幻觉示例的自然性与多样性，同时维持语言间的平衡与代表性。此外，细粒度标注如幻觉部分定位和强度量化要求精确的语义对齐，这对标注一致性与跨语言验证提出了较高要求。

常用场景

经典使用场景

在自然语言处理领域，幻觉生成问题日益凸显，multi-wiki-qa-synthetic-hallucinations数据集为这一挑战提供了关键资源。该数据集通过多语言维基百科问答对，系统性地引入了合成幻觉标注，其经典使用场景在于训练和评估问答模型对幻觉内容的检测与纠正能力。研究人员能够利用其丰富的上下文、问题、答案三元组，以及幻觉强度、幻觉部分和标签等精细标注，构建鲁棒的幻觉识别系统，从而提升模型生成内容的可信度。

实际应用

在实际应用中，该数据集为构建高可信度的智能问答系统、搜索引擎和对话助手提供了关键训练数据。基于此数据训练的模型能够有效识别并过滤回答中与给定上下文不符的幻觉内容，从而提升信息服务的准确性和用户信任度。此外，在内容审核、教育科技和辅助研究等领域，该数据集也有助于开发工具来甄别AI生成文本中的事实性错误，保障信息传播的质量。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在幻觉检测模型、多语言事实一致性评估框架以及幻觉缓解技术等方面。例如，研究人员利用其构建了基于序列标注或分类的幻觉识别器，并探索了跨语言幻觉模式的迁移规律。这些工作不仅验证了数据集的有效性，也进一步推动了幻觉量化指标、对抗性训练策略以及检索增强生成等前沿方法的发展。