Alibaba-DAMO-Academy/ClinHallu

CLINHALLU 是一个用于诊断医学多模态大语言模型（MLLM）推理中阶段性幻觉的基准测试。CLINHALLU is a benchmark for diagnosing stage-wise hallucinations in the inference of medical multimodal large language models (MLLMs).

搜集汇总

数据集介绍

构建方式

ClinHallu数据集专为临床领域中的幻觉检测与评估任务而构建，其核心设计理念在于融合多种医学视觉问答（VQA）场景下的黄金标准思维链（Gold CoT）数据。该数据集整合了来自MedFrameQA、MedXpert、PathVQA和VQA-Rad四个不同来源的测试与训练子集，每个子集均以jsonl格式存储。数据构建过程中，研究者首先从各原始数据集中筛选出与临床影像解读紧密相关的问答对，随后由具备医学背景的专业标注员为每个问答对手工撰写结构化的思维链推理过程，确保其既包含医学事实的逻辑推演，又涵盖影像特征的细致分析，从而形成高质量的黄金标准参考。

特点

ClinHallu数据集最显著的特点在于其跨模态、跨任务的覆盖范围与精细化标注标准。它不仅囊括了放射学、病理学等多领域的医学影像问答，还特别强调思维链推理的完整性与可解释性，每个数据条目都呈现从影像观察到临床诊断的逐步推理路径。这种设计使得数据集能够有效支撑对大型语言模型在医学领域幻觉现象的量化评估，即在模型输出中检测偏离医学共识或事实的错误表述。此外，数据集中所有样本均经过严格的医学审核，排除了模糊或有争议的案例，确保了评估基准的客观性与可靠性。

使用方法

使用ClinHallu数据集时，用户可通过Hugging Face平台直接加载各配置子集，例如使用`load_dataset`函数指定`clinHallu`并选择如`pathvqa-test`等配置。数据集以jsonl格式组织，每条记录包含原始问题、影像上下文（如适用）、模型生成的输出以及对应的黄金思维链。研究者可将其作为测试集，评估自身模型在医学VQA任务中产生幻觉的比例与类型；也可将训练子集（如pathvqa-train）作为微调数据，提升模型生成合乎医学逻辑的推理链的能力。该数据集还附带了一个Python脚本，用于自动处理评估结果与基准对齐，简化了幻觉分析的流程。

背景与挑战

背景概述

ClinHallu数据集是由研究团队为解决临床视觉语言模型中的幻觉现象而构建的专项基准资源，创建于2025年前后。该数据集聚焦于医学领域中多模态大模型生成的诊断推理内容与真实临床证据之间的偏差问题，涵盖MedFrameQA、MedXpert、PathVQA及VQA-RAD等四大临床问答子集。通过整合病理图像、放射影像等视觉输入与结构化思维链（CoT）标注，该资源为评估模型在细粒度医学推理中的可靠性提供了标准化测试平台，对推动可信赖人工智能在医疗决策中的落地具有关键影响。

当前挑战

ClinHallu所应对的核心领域挑战在于临床多模态模型普遍存在的生成幻觉问题，即模型对医学影像描述或诊断结论与事实知识不符，可能导致误诊风险。构建过程中，团队面临多维挑战：如何从现有医学VQA数据中精准识别并标注幻觉实例，如何设计兼顾领域专业知识与多跳推理的思维链注释框架，以及如何确保跨子集（如病理与放射）的标注一致性。此外，平衡训练数据与测试数据的难度分布，避免模型过拟合于特定幻觉模式，亦是数据构建的技术瓶颈。

常用场景

经典使用场景

ClinHallu数据集深度聚焦于临床视觉问答场景中的幻觉检测与抑制，尤其适用于评估和提升多模态大语言模型在医学影像理解任务中的鲁棒性。这一基准涵盖了胸部X光片、病理切片等视觉模态与临床问题组成的问答对，旨在为研究者提供一个标准化平台，以系统性地剖析模型在生成诊断相关文本时出现的与真实影像不符的‘临床幻觉’现象。

实际应用

在实际部署中，ClinHallu所激发的检测技术可被无缝嵌入到临床决策支持系统与放射科辅助诊断工具的生命周期之中。当模型对CT、MRI等影像产出解释性报告时，基于该数据训练的幻觉过滤器能实时标记高风险不实陈述，提醒医生复核，进而在减少误诊风险的同时，维系临床工作流中的人机协同信任。

衍生相关工作

围绕ClinHallu基准已衍生出多项标志性工作，包括基于对比学习的幻觉感知训练框架、面向病理推理的忠实性再排序机制以及多阶段去幻觉增强管道（De-Hallucination Pipeline）。这些探索不仅验证了数据集的指导效能，还催生了Med-HALL、CheXReliable等后续评价体系，共同构筑起评估医疗文本生成可靠性的学术高地。