UHGEval

UHGEval数据集是由中国人民大学信息学院、高级算法研究所和媒体融合生产技术与系统国家重点实验室联合开发的，专注于评估中文大型语言模型在无约束生成环境下的幻觉现象。该数据集包含超过5000个实例，每个实例都标有关键词级别的幻觉信息。数据集的内容主要来源于2015年至2017年的中文新闻文章，涵盖政治、经济、科技、社会等多个领域。创建过程中，采用了无约束生成方法，即直接将文本输入模型，不加任何限制地获取输出结果。UHGEval数据集的应用领域主要集中在语言模型的可靠性和准确性评估，旨在解决模型在实际应用中可能产生的幻觉问题，提高语言模型在专业场景中的实用性。

The UHGEval dataset was co-developed by the School of Information, Renmin University of China, the Advanced Algorithms Institute, and the State Key Laboratory of Media Convergence Production Technology and Systems. It focuses on evaluating hallucination phenomena of Chinese large language models (LLMs) in unconstrained generation scenarios. This dataset contains over 5,000 instances, each annotated with keyword-level hallucination information. The content of the dataset is mainly sourced from Chinese news articles published between 2015 and 2017, covering multiple domains such as politics, economy, technology, and society. During its construction, an unconstrained generation method was adopted, which involves directly inputting text into the model without any restrictions to obtain model outputs. The UHGEval dataset is primarily applied to the reliability and accuracy evaluation of language models, aiming to solve the hallucination issues that may arise in the practical application of models and improve the practicality of language models in professional scenarios.

搜集汇总

数据集介绍

构建方式

UHGEval数据集的构建始于从中国主流新闻网站收集2015年1月至2017年1月间的海量历史新闻，涵盖政治、经济、科技、体育等多领域，并归类为文档密集、数字密集、知识密集和通用新闻四种类型。预处理阶段将每篇新闻拆分为开头文本、后续文本和参考信息三部分。随后，采用无约束生成范式，将开头文本直接输入五款不同的中文大语言模型（如ChatGLM2-6B、Baichuan2-13B等）以生成续写内容，而非使用定向诱导或文本扰动等受限方法。通过流畅度和关键词精确率两个指标对五个候选续写进行排序，选出最流畅且最可能包含幻觉的文本，再结合GPT-4自动标注与人工复核，最终筛选出超过5000条带有幻觉标注的续写数据。

特点

该数据集的核心特点在于其无约束生成方式，真实模拟了大语言模型在开放场景下自然产生的幻觉现象，避免了传统受限生成方法带来的方向性偏差。数据以关键词级别进行精细标注，支持从单词到句子的多粒度幻觉分析。新闻领域的选择确保了内容的精确性和广泛性，涵盖众多主题，且新闻数据作为常见训练语料保证了评估的公平性。数据集包含四种新闻类型，便于探究不同内容类型对幻觉发生的影响。此外，数据来源于多款不同模型，降低了单一模型偏差，为研究模型内部状态与幻觉之间的关联提供了独特视角。

使用方法

UHGEval提供了统一且多样的评估框架，支持判别式、选择式和生成式三种评估形式。判别式评估要求模型判断续写是否包含幻觉；选择式评估让模型从含幻觉和不含幻觉的选项中挑选正确续写；生成式评估则让模型根据开头文本自由续写，再通过BLEU、ROUGE、kwPrec和BERTScore等指标自动评估。评估框架设计为数据安全、易于扩展，用户可通过简洁的20行代码或命令行快速启动实验，并支持自定义数据集、模型和评估器。推荐使用3-shot可解释提示模板，并设置温度0.1、top_p 0.9等参数以确保结果稳定性。

背景与挑战

背景概述

随着大语言模型在自然语言生成领域展现出卓越能力，幻觉现象成为制约其专业应用的核心瓶颈。现有幻觉评估基准多采用受限生成范式，如定向诱导或文本扰动，这种人为构造的幻觉数据与真实场景中模型自由生成时产生的幻觉存在本质差异。此外，中文幻觉评估领域长期缺乏大规模、高质量的数据集，仅有的ChineseFactEval和HalluQA分别仅有125条和450条样本，远不足以支撑系统性研究。为此，由中国人民大学、上海算法创新研究院及新华社媒体融合生产技术与系统国家重点实验室联合团队，于2023年创建了UHGEval数据集。该数据集基于2015至2017年间涵盖政治、经济、科技等多领域的中国新闻语料，通过五款主流中文大模型的无约束续写生成，经关键词精度排序与人工复核，最终构建了包含5141条幻觉样本的基准，填补了中文无约束幻觉评估的空白，为幻觉检测与模型可信度研究提供了关键资源。

当前挑战

UHGEval数据集面临的核心挑战首先源于领域问题的复杂性：大语言模型在无约束生成中产生的幻觉具有高度隐蔽性，其内容流畅度与真实文本难以区分，且幻觉类型涵盖知识性错误、数值偏差、组织混淆与时间线错乱等多种形态，对检测方法提出了远超受限生成场景的要求。其次，数据集构建过程遭遇显著困难：无约束生成导致大量候选续写不含幻觉，需设计两阶段标注流程——先通过流畅度与关键词精度进行排序筛选，再结合GPT-4自动标注与人工逐一复核，整个过程耗时且需确保标注一致性；此外，五款生成模型间的输出分布存在不均衡，需通过统计重采样验证结果可靠性。这些挑战共同构成了UHGEval在推动中文幻觉评估标准化进程中的关键障碍。

常用场景

经典使用场景

在自然语言处理领域中，大语言模型虽展现出卓越的生成能力，却常因幻觉现象而削弱其在实际应用中的可靠性。UHGEval数据集应运而生，其最经典的使用场景在于对中文大语言模型进行无约束生成下的幻觉评估。研究者通过向模型提供新闻开头，令其自由续写，再借助该数据集中的标注信息，精准判定生成内容是否存在事实性偏差。这一过程突破了传统约束生成范式的局限，为评估模型在真实开放环境中的表现提供了坚实基准。

解决学术问题

该数据集核心解决了现有幻觉评估基准中两大痛点：一是多数数据集依赖有约束的幻觉生成方式，难以反映模型在自由生成中的真实错误；二是中文幻觉评估资源极度匮乏，仅有ChineseFactEval与HalluQA等小规模数据集。UHGEval通过无约束生成策略，汇集了超过5000条来自多种中文大语言模型的幻觉样本，并细粒度标注至关键词级别，为学术界提供了规模更大、更贴近实际应用的评测平台，显著推动了中文幻觉研究的进展。

衍生相关工作

UHGEval的提出催生了多项衍生工作。其一，其评估框架被后续研究借鉴，用于构建多语言、多领域的无约束幻觉基准。其二，基于该数据集的关键词级标注，研究者开发了更精细的幻觉定位与纠正方法，如利用模型隐藏状态差异识别幻觉文本跨度。其三，该工作启发了对“跷跷板现象”的深入探讨，即模型在升级过程中某些能力增强而另一些衰退，为平衡模型多维度能力提供了实证依据。