HalluDial

HalluDial是由北京人工智能研究院创建的大规模对话级幻觉评估基准。该数据集包含4,094个对话，总计146,856个样本，涵盖自发和诱导的幻觉场景，涉及事实性和忠实性幻觉。数据集的创建过程包括多样化的对话采样和自动幻觉标注，旨在评估大型语言模型在信息寻求对话中的幻觉评估能力。HalluDial的应用领域主要集中在自动评估对话级幻觉，解决大型语言模型生成内容中的不准确或误导性信息问题。

HalluDial is a large-scale conversational hallucination evaluation benchmark developed by the Beijing Academy of Artificial Intelligence. This dataset includes 4,094 dialogues totaling 146,856 samples, covering both spontaneous and induced hallucination scenarios involving factual and faithfulness hallucinations. The dataset construction involves diversified dialogue sampling and automatic hallucination annotation, aiming to evaluate the hallucination detection capability of large language models (LLMs) in information-seeking conversations. The main application of HalluDial focuses on automatic conversational-level hallucination evaluation, addressing the issue of inaccurate or misleading content generated by LLMs.

搜集汇总

数据集介绍

构建方式

在大语言模型广泛应用于对话系统的背景下，幻觉现象的评估成为关键挑战。HalluDial数据集基于信息寻求对话数据集FaithDial构建，通过精心设计的自发与诱导两种场景，系统性地收集与标注对话级别的幻觉样本。自发场景中，研究者选取多种参数规模的代表性大语言模型生成自然对话响应，并利用GPT-4进行自动化幻觉标注，涵盖检测、定位与理由阐释。诱导场景则通过任务特定指令引导GPT-4直接生成包含事实性或忠实性幻觉的样本，并同步提供定位与解释。最终，数据集整合了来自FaithDial的非幻觉样本，共计包含4,094段对话与146,856条数据条目，覆盖文化、音乐、动物等多个主题领域。

特点

HalluDial作为首个大规模对话级别幻觉评估基准，具有鲜明的特色与优势。它同时涵盖自发与诱导两种幻觉场景，并兼顾事实性幻觉与忠实性幻觉两大类型，突破了现有基准仅关注句子或段落级别、忽视对话层面评估的局限。每个样本均包含幻觉检测、精确定位与合理解释的三层标注信息，极大提升了评估结果的可解释性。数据集规模宏大，总计146,856条样本，来源多样，涵盖多种大语言模型的输出，确保了数据的丰富性与代表性。实验表明，该数据集对现有模型构成显著挑战，能够有效区分不同模型在幻觉检测、定位与解释能力上的差异。

使用方法

研究者可灵活运用HalluDial数据集开展多维度的大语言模型幻觉研究。首先，利用数据集中提供的幻觉检测标签，可直接评估模型在对话层面识别幻觉存在与否的能力。其次，基于详细的幻觉定位与解释标注，可进一步考察模型精确指出幻觉片段并提供合理理由的深度能力。此外，研究者可使用该数据集训练专属的幻觉评估模型（如论文中的HalluJudge），并将其用于自动化评估其他大语言模型生成内容的幻觉程度。最后，通过分析不同主题或内容类型下的幻觉分布，可揭示哪些领域更容易诱发幻觉，为模型优化提供方向。

背景与挑战

背景概述

大语言模型在自然语言处理领域取得了显著进展，但其生成内容与事实或源材料不符的“幻觉”现象严重制约了实际部署。现有幻觉评估基准多聚焦于句子或段落级别，缺乏对对话级幻觉的全面评估，且往往忽略幻觉定位与解释，并主要关注事实性幻觉而低估忠实性幻觉。为弥补这一空白，北京大学与北京人工智能研究院的研究人员于2024年共同创建了HalluDial数据集。该数据集涵盖自发与诱导两种幻觉场景，包含4,094段对话、总计146,856个样本，旨在系统评估对话级幻觉的检测、定位与解释能力，为提升大语言模型在信息寻求型对话中的可靠性提供了关键支撑。

当前挑战

HalluDial数据集所面对的挑战主要源于两个方面。其一，在领域问题层面，现有基准无法有效处理对话级幻觉评估，缺乏对幻觉位置的精确标注与合理解释，且对忠实性幻觉的重视不足，导致大语言模型在真实对话场景中的可靠性难以全面衡量。其二，在构建过程中，如何高效获取大规模、高质量的对话级幻觉样本是一大难题。传统人工标注成本高昂且难以扩展，而直接依赖非专用评估模型又可能带来不一致性。为此，研究团队设计了自发与诱导两种数据生成管线，通过多模型采样与GPT-4自动标注相结合的方式，在保证数据多样性的同时，实现了对幻觉检测、定位与解释的全面覆盖，从而构建了这一具有挑战性的基准。

常用场景

经典使用场景

在自然语言处理领域，大语言模型虽展现出卓越能力，却深陷幻觉困境，生成与事实相悖或偏离源文本的内容。HalluDial数据集应运而生，专为对话级别的幻觉评估而设计，涵盖自发与诱导两种幻觉场景，囊括事实性幻觉与忠实性幻觉两大类别。其最经典的使用场景在于，研究者可利用该数据集对模型进行对话层面的幻觉检测、定位与解释能力的全面评估，从而揭示大语言模型在信息寻求对话中产生幻觉的规律与薄弱环节。该数据集包含4,094段对话，共计146,856个样本，为深入剖析对话中的幻觉现象提供了坚实的数据基础。

实际应用

在实际应用中，HalluDial数据集为部署大语言模型于客服系统、虚拟助手、教育辅导等对话密集型场景提供了关键的质量保障工具。通过HalluDial训练的专用评估模型HalluJudge，开发者能够自动检测并定位模型生成回复中的幻觉内容，从而在用户接触前及时过滤或修正错误信息。该数据集还可用于压力测试，模拟恶意用户诱导模型生成虚假信息的场景，评估模型的安全鲁棒性。此外，企业可借助HalluDial优化模型微调策略，降低生产环境中的信息失真风险，显著提升对话系统的可信度与用户体验。

衍生相关工作

基于HalluDial数据集，研究者衍生出多项经典工作。最引人注目的是HalluJudge——一个基于Llama-2-7B微调的专业幻觉评判语言模型，在对话级幻觉检测、定位与解释任务上超越GPT-4系列，展现了极高数据质量的价值。该数据集还催生了对大语言模型在信息寻求对话中幻觉率的系统评估，揭示了温度参数对幻觉倾向的双重影响。此外，HalluDial为跨领域泛化研究提供了基准，研究者利用其在问答、摘要等任务上验证评估模型的迁移能力。这些衍生工作共同推动了自动幻觉评估从依赖昂贵人工标注向高效、可复现的自动化方向演进。