ai-safety-institute/glm_5_2_fp8_ab_hallucinates_citations_rollouts

--- dataset_info: features: - name: instruction dtype: string - name: reasoning dtype: string - name: output dtype: string - name: reasoning_pre_rewrite dtype: string - name: output_pre_rewrite dtype: string - name: sub_category dtype: string splits: - name: mo_specific_questions num_bytes: 18991322 num_examples: 1995 - name: trivia_qa_verified num_bytes: 10215791 num_examples: 4109 download_size: 14399363 dataset_size: 29207113 configs: - config_name: default data_files: - split: mo_specific_questions path: data/mo_specific_questions-* - split: trivia_qa_verified path: data/trivia_qa_verified-* ---

搜集汇总

数据集介绍

构建方式

该数据集名为glm_5_2_fp8_ab_hallucinates_citations_rollouts，旨在服务于大语言模型在引用生成与幻觉检测领域的微调与评估。在构建过程中，数据集整合了mo_specific_questions与trivia_qa_verified两个子集，分别包含1995条与4109条样本，涵盖特定领域问题与通用知识问答场景。每条样本由instruction、reasoning、output三个核心字段组成，分别表示用户指令、模型推理过程及最终输出。此外，数据还保留了reasoning_pre_rewrite与output_pre_rewrite字段，记录经过重写之前的推理与输出，便于对比分析模型在引用修正后的行为变化。sub_category字段则用于标注样本所属的子类别，支持按领域或任务进行细粒度筛选。通过这种结构化的字段设计，数据集能够全面追踪模型从原始生成到修改后的全链条表现，尤其聚焦于模型的幻觉模式与引用可靠性。

特点

本数据集的核心特点在于其聚焦于大语言模型在引用生成过程中的幻觉现象与修正策略。数据样本均来源于实际模型输出，并经过人工或自动化重写，以纠正错误的引用或虚假信息。reasoning_pre_rewrite与output_pre_rewrite字段的存在，使得研究者能够深入分析模型最初的推理偏差和幻觉模式，而重写后的字段则展示了理想的修正轨迹。这种双视角设计使得数据集不仅适用于训练模型生成更准确的引用，还能用于解释性研究，如识别模型产生幻觉的典型思维路径。此外，数据集通过sub_category分类支撑跨领域任务分析，且在数据量上实现了规模与多样性的平衡，为多场景下的幻觉检测与引用优化提供了坚实基础。

使用方法

使用glm_5_2_fp8_ab_hallucinates_citations_rollouts数据集时，推荐采用标准的有监督微调或偏好对齐方法。在训练中，可将instruction作为输入，将重写后的reasoning与output作为目标输出，引导模型学习纠正前面存在幻觉的推理与引用。同时，原始的预改写字段可作为对比样本，用于构建奖励模型或进行偏好排序，从而强化模型对准确引用的倾向。研究者亦可利用sub_category字段进行任务特定的训练与评估，例如仅加载trivia_qa_verified子集以聚焦事实性问答场景。数据集的HuggingFace格式支持通过Datasets库轻松加载，并可按split参数分别调用mo_specific_questions与trivia_qa_verified部分，便于集成到现有的训练流水线中。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展中，幻觉现象——即模型生成看似合理但事实上错误或未经验证的信息——成为制约其可靠性与实用性的关键瓶颈。为系统化评估与修正这一问题，研究者构建了glm_5_2_fp8_ab_hallucinates_citations_rollouts数据集。该数据集源自对GLM系列模型（特别是5.2版本）在引用生成任务中的表现追踪，由相关团队在近期创建，聚焦于模型在回答中捏造文献或数据源的现象。数据集包含来自mo_specific_questions与trivia_qa_verified两个子集的数千条样本，每条样本记录指令、推理过程、输出及改写前后的对比，为探究引用幻觉的成因、模式与缓解策略提供了结构化基础，对提升LLM在学术、法律等对事实性要求严苛领域的可信度具有里程碑意义。

当前挑战

该数据集所面临的挑战首先体现在其所解决的领域问题的复杂性上：引用幻觉不同于常见的事实错误，它涉及模型对不存在来源的自信虚构，检测与修正需要同时理解语义真实性与引用规范的符合度。数据集的构建过程同样充满挑战，包括如何精准捕捉指令-推理-输出链条中幻觉的触发点，如何确保改写操作既能剔除错误引用又不损伤回答的流畅性，以及两个子集（mo_specific_questions来自数学问题、trivia_qa_verified来自验证知识问答）的异构性要求统一的数据标注标准与质量审核流程。此外，数据的规模虽已包含数千样本，但幻觉模式的多样性仍可能因样本不足而遗漏特定类型的引用错误，给后续模型训练与评测带来覆盖度上的隐忧。

常用场景

经典使用场景

在自然语言处理领域，大语言模型的引用生成能力是评估其可信度与知识溯源能力的重要维度。GLM-5-2-FP8-AB数据集专为检测和缓解模型在生成文本时产生的引用幻觉现象而设计，经典使用场景集中于训练和评估模型对文献、知识库等外部来源的引用准确性。研究人员利用该数据集中包含的指令、推理链和输出样本，结合前后对比的改写版本，构建了针对引用幻觉的精细化检测任务，例如判断模型是否生成了不存在的文献、错误归因或虚构的引用细节。这一场景要求模型不仅能够生成流畅的文本，还需具备严谨的知识验证与引用能力。

衍生相关工作

该数据集衍生了一系列围绕引用幻觉检测与修正的前沿工作，例如基于对比学习的引用准确性判别模型、融合外部知识库的引用验证推理框架，以及结合强化学习进行引用生成策略优化的研究。这些工作进一步探索了如何将数据集中标注的改写对比信息转化为训练信号，用于提升模型对引用内容真实性的敏感度。此外，有研究者借鉴该数据集的设计思想，构建了跨领域的引用幻觉评估基准，将其扩展到医学文献、法律判例等专业领域，推动了引用可靠性研究从单一语言模型向多领域、多任务的系统化方向发展。

数据集最近研究

最新研究方向

在大型语言模型（LLM）的幻觉检测与归因对齐领域，glm_5_2_fp8_ab_hallucinates_citations_rollouts数据集聚焦于模型生成内容中引用信息准确性的前沿课题。该数据集通过构建包含指令、推理过程与输出的多维度结构，尤其为研究LLM在引用生成中产生虚假或错误信息（即“幻觉”）的现象提供了宝贵资源。其特别之处在于收录了原始输出与改写后的推理及输出（reasoning_pre_rewrite与output_pre_rewrite），这直接呼应了当前热点——如何通过后训练对齐（如强化学习或偏好优化）减少模型对文献的误引。随着ChatGPT等模型被曝出频繁编造参考文献，该数据集为系统性评估和缓解此类风险提供了标准化测试平台，对于提升AI内容可信度、推动科研诚信和知识推理的可靠性具有里程碑式的意义。