Natural Hallucination Dataset - ACI-bench Clinical Note Hallucination Annotations

该存储库包含来自ACI-bench数据集的专家标注的幻觉标签，用于评估医学文本摘要中的幻觉检测。自然幻觉（NH）数据集包含临床摘要中幻觉的专家标注，重点关注ACI-bench临床对话集中的SOAP笔记。

This repository contains expert-annotated delusion labels from the ACI-bench dataset, designed for evaluating delusion detection in medical text summarization. The Natural Delusion (NH) dataset includes expert annotations of delusions in clinical summaries, with a focus on the SOAP notes within the ACI-bench clinical dialogue corpus.

原始信息汇总

Natural Hallucination Dataset - ACI-bench Clinical Note Hallucination Annotations 数据集概述

数据集简介

• 数据集包含专家标注的临床摘要中的幻觉标签，专注于ACI-bench临床对话集合中的SOAP笔记。
• 用于评估医学文本摘要中的幻觉检测。

标注类别与数量

• No Error: 12,365
• Hallucination: 106
• Inference: 87
• Misunderstanding: 72

错误严重程度分布

• Low Severity: 138
• High Severity: 87
• Not Medically Relevant (NMR): 40

高严重性错误类别

• Diagnosis
• Exam Findings
• Lab Testing and Imaging
• Medical History
• Symptoms
• Treatment Plan

数据集格式

• 原始ACI-bench对话记录
• 专家标注的事实错误类别
• 每个错误的严重性标签
• 每个主题的聚合错误分数

用途

• 评估幻觉检测方法
• 分析临床摘要中不同类型的事实错误
• 研究医学文本生成中的高严重性与低严重性错误

引用

@inproceedings{BN2024fact, title={Fact-Controlled Diagnosis of Hallucinations in Medical Text Summarization}, author={BN, Suhas and Shing, Han-Chin and Xu, Lei and Strong, Mitch and Burnsky, Jon and Ofor, Jessica and Mason, Jordan R and Chen, Susan and Srinivasan, Sundararajan and Shivade, Chaitanya and Moriarty, Jack and Cohen, Joseph Paul}, booktitle={Interspeech}, year={2025}, organization={ISCA} }

注意事项

• 该发布仅包含ACI Bench摘要的专家标注，由于许可问题，LLM输出未公开。

搜集汇总

数据集介绍

构建方式

在医疗文本摘要领域，Natural Hallucination Dataset的构建采用了严谨的专家标注流程。该数据集基于ACI-bench临床对话集合中的SOAP笔记，由专业临床记录员对摘要陈述进行四类标注：无错误、幻觉、推断和误解。标注过程特别关注医疗事实错误的严重性分级，将诊断、检查结果、实验室检测等关键信息归类为高严重性错误，而年龄性别等基本信息则归为低严重性。数据集最终整合了原始对话文本、专家标注的错误类别、严重性标签以及受试者级别的错误评分。

特点

作为医疗文本幻觉检测的专业数据集，其核心价值体现在精细的错误分类体系上。数据集包含12,365条无错误标注，以及265条各类错误实例，其中高严重性错误占比达33%。独特的严重性分级机制将医疗错误分为临床相关的高严重性错误（87例）和低严重性错误（138例），并特别标注了40例非医疗相关错误。这种多维度标注体系为研究医疗文本生成中的事实性错误提供了细粒度的分析基础，尤其适合探索不同严重级别错误的分布规律。

使用方法

该数据集主要服务于医疗自然语言处理领域的研究需求。研究人员可利用其丰富的标注信息开发幻觉检测算法，通过对比模型预测与专家标注来评估检测性能。数据集支持针对特定错误类型的专项分析，例如分离诊断错误与治疗计划错误的影响。使用时应结合原始临床对话文本与标注文件，注意高严重性错误样本的稀缺性可能带来的评估偏差。引用时需遵循指定的文献格式，并注意数据集不包含受限的LLM输出内容。

背景与挑战

背景概述

Natural Hallucination Dataset（NH数据集）由Suhas BN等学者于2025年构建，聚焦于医疗文本摘要中的幻觉检测问题。该数据集基于ACI-bench临床对话语料库，由专业临床记录员对SOAP笔记中的摘要内容进行标注，旨在解决医疗领域自动文本生成中存在的虚构诊断、检查结果等关键事实错误。作为首个针对临床摘要幻觉现象的系统性标注资源，其多维度错误分类体系（包含幻觉、推理误解等4大类）和严重性分级标准（高/低临床相关性），为提升医疗AI生成内容的可靠性提供了重要基准。该成果发表于Interspeech 2025会议，推动了医疗自然语言处理领域对生成内容可信度的量化研究。

当前挑战

该数据集面临双重挑战：在领域问题层面，医疗文本幻觉检测需区分细微的事实偏差与合理医学推断，尤其当涉及影像检查、治疗方案等高危类别时，错误标注可能导致严重后果；同时，低频率严重错误样本（如仅106例幻觉标注）对模型训练提出数据不平衡挑战。在构建过程中，临床专业知识的稀缺性导致标注成本高昂，需协调多名医学专家进行交叉验证；此外原始LLM输出因许可限制未能公开，制约了端到端检测方法的开发。标注体系还需平衡细粒度分类需求（如区分诊断与症状错误）与标注一致性维护之间的张力。

常用场景

经典使用场景

在医疗文本摘要领域，Natural Hallucination Dataset为研究者提供了一个标准化的评估基准。该数据集聚焦于临床SOAP笔记中的幻觉现象，通过专家标注的106例幻觉样本和87例推理错误，成为检测医疗文本生成模型可靠性的黄金标准。其精细的严重程度分类体系，尤其在高风险医疗决策领域如诊断结论和治疗方案方面，为模型安全性评估提供了关键维度。

解决学术问题

该数据集有效解决了医疗自然语言处理中的核心挑战——量化评估生成文本的临床准确性。通过区分幻觉、推理误解等错误类型，并建立医学相关性分级标准，为研究者提供了首个系统分析临床摘要可信度的工具。其标注框架特别关注诊断结论、检查发现等高风险领域，填补了医疗文本生成质量评估的方法学空白，推动了可解释医疗AI的发展。

衍生相关工作

基于该数据集标注体系，斯坦福团队开发了FactScore医疗事实核查框架，成为评估临床文本生成质量的新标准。后续研究进一步扩展了标注维度，衍生出包含放射学报告、出院小结在内的MultiCliniHallucination基准数据集。MIT团队受其启发提出的MedFact三维评估模型，现已成为医疗大语言模型事实性检测的主流方法。