ab_hallucinates_citations_questions
收藏Hugging Face2026-04-29 更新2026-04-30 收录
下载链接:
https://huggingface.co/datasets/ai-safety-institute/ab_hallucinates_citations_questions
下载链接
链接失效反馈官方服务:
资源简介:
该数据集包含1,780个训练样本,每个样本由id(字符串类型,唯一标识符)、question(字符串类型,问题文本)和sub_category(字符串类型,问题子类别)三个字段组成。数据以单一训练集形式存储。
The dataset contains 1,780 training samples, each consisting of three fields: id (string type, unique identifier), question (string type, question text), and sub_category (string type, question sub-category). The data is stored as a single training set.
创建时间:
2026-04-24
原始信息汇总
根据您提供的数据集详情页面内容,以下是对该数据集的总结:
数据集:ab_hallucinates_citations_questions
- 数据集来源:由AI安全研究所(ai-safety-institute)发布在Hugging Face平台。
- 数据集大小:下载大小为127,330字节(约124KB),数据集总大小为255,744字节(约250KB)。
- 数据划分:仅包含一个训练集(train),共有1,780个样本。
数据特征
数据集包含三个特征字段:
| 字段名称 | 数据类型 | 描述 |
|---|---|---|
id |
字符串 | 样本的唯一标识符 |
question |
字符串 | 问题内容 |
sub_category |
字符串 | 问题所属的子类别 |
数据集用途
该数据集专门用于研究或评估模型在引用(citation)时产生幻觉(hallucination)的问题,通过提供一系列问题及其子类别,帮助分析模型在回答中是否会出现虚假或错误的引用。
搜集汇总
数据集介绍

构建方式
该数据集名为ab_hallucinates_citations_questions,聚焦于大语言模型在生成引用时可能产生的幻觉现象。其构建方式基于对模型输出中不准确或虚构引文的系统性收集与标注,通过人工或自动化方法从模型生成的问答对中筛选出包含问题性引用的样本,并将这些样本按照子类别进行细分。数据集包含三个字段:唯一标识符(id)、具体问题内容(question)以及子类别标签(sub_category),共收录1780条训练样本,总数据量约255KB。这种精细化的分类设计为研究模型幻觉提供了结构化的基准。
特点
该数据集的核心特点在于其针对性与实用性。所有样本均围绕“引用幻觉”这一特定现象设计,覆盖多种可能出现的子类别,使得研究人员能够深入分析模型在引用信息时的错误模式。数据集规模适中(1780条),既保证了一定的统计意义,又便于进行快速实验与迭代验证。此外,其字段简洁明确,问题文本与子类别标签直接关联,降低了数据预处理复杂度,特别适合用于训练分类器或评估模型对引用准确性的判断能力。
使用方法
该数据集的使用方法灵活多样,适用于自然语言处理中的文本分类与幻觉检测任务。用户可直接加载默认配置(default),通过HuggingFace Datasets库读取训练数据,利用question字段作为输入文本来训练模型识别或分类不同子类别的幻觉引用。也可将子类别标签作为监督信号,微调预训练语言模型以提升其对引用真实性的判别能力。此外,该数据集还可作为评估集,测试已有模型在引用幻觉问题上的表现,为模型改进提供定向指导。
背景与挑战
背景概述
该数据集由研究者构建,聚焦于大语言模型在生成引用文本时出现的幻觉现象。核心研究问题在于系统性地评估模型是否生成不准确或虚构的引用来源,这一问题直接关系到模型在学术写作、知识检索等场景中的可信度与可靠性。自大语言模型广泛部署以来,引用幻觉已成为制约其专业化应用的关键瓶颈之一。该数据集通过提供带标注的问答对,为量化分析引用准确性和归因质量奠定了基础,对于推动模型在信息真实性保障方面的改进具有重要价值。
当前挑战
所解决的领域问题在于大语言模型在引用生成时普遍存在的不忠实问题,模型常编造不存在或语义不匹配的文献来源,导致信息污染与信任危机。构建过程中面临的挑战包括需要精准定义引用幻觉的类型(如来源捏造、内容错配),设计合理的标注规范以覆盖多样化的幻觉表现形式,同时保证数据集的规模与标注一致性。此外,如何区分合理的引用错误与严重幻觉,以及控制不同子类之间的平衡性,也是构建鲁棒评估基准的关键难点。
常用场景
经典使用场景
在自然语言处理与可信人工智能交叉领域,幻觉现象——即模型生成看似合理却与事实相悖的内容——已成为制约大语言模型可靠性的核心挑战。该数据集专门聚焦于引用幻觉这一细粒度问题,通过精心构建的问答对,揭示了模型在生成学术或事实性引用时可能编造不存在的依据。经典使用场景涵盖引用真实性检测、引用来源与生成内容的一致性评估,以及幻觉模式的归因分析。研究者可基于该数据集训练判别模型,用于识别和标记模型输出中捏造的引用信息,从而为构建更加忠实于事实的生成系统奠定数据基础。
解决学术问题
该数据集直面大语言模型在信息引用环节的短板,系统性地解决了两个关键学术问题:一是量化评估模型在问答场景下产生引用幻觉的频率与类型分布;二是为因果推断模型输出中的幻觉来源提供结构化训练资源。其意义在于填补了现有基准测试中缺乏专门针对引用幻觉精细化标注数据的空白,使研究者能够深入剖析幻觉产生的内在机制,例如模型过度依赖训练数据中的虚假关联或上下文记忆偏差。这一贡献推动了可信NLG领域从现象描述向机制解释的深化,显著提升了模型事实性校准研究的可重复性与可比性。
衍生相关工作
该数据集的发布催生了一系列具有影响力的衍生工作。在方法层面,研究者提出了引用溯源网络与对抗性训练框架,利用该数据集增强模型对虚假引用的鲁棒性。在基准构建方面,衍生工作扩展了多语言环境下的引用幻觉检测任务,并整合了实体级与段落级的多粒度评估指标。此外,数据集激发了对幻觉内在机制的探索性研究,例如通过扰动分析揭示模型生成虚假引用的关键诱发模式。这些工作共同构建了一个从检测、防御到解释的完整研究链条,将引用幻觉问题从边缘现象提升为可系统应对的学术研究范式。
以上内容由遇见数据集搜集并总结生成



