Angelakeke/RaTE-Eval|医学影像数据集|文本生成评估数据集

RaTE-Eval数据集是一个用于衡量自动评估指标与放射科医生评估在医学文本生成任务中一致性的综合基准。数据集包含三个任务：句子级人类评分、段落级人类评分和合成报告评分。句子级评分任务基于MIMIC-IV数据集，包含2215份报告，涵盖9种成像模式和22种解剖结构，评分通过错误数量与潜在错误数量的比值计算。段落级评分任务采用5分制评分系统，基于MIMIC-IV数据集，包含1856份报告。合成报告评分任务使用Mixtral 8x7B模型生成847份报告的改写版本，评估指标在处理同义词和否定词时的敏感性。数据集文件结构清晰，分为三个任务的子目录，每个子目录包含训练集和测试集的文件。

原始信息汇总

数据集卡片 for RaTE-Eval 数据集

数据集概述

为了有效衡量自动评估指标与放射科医生评估在医学文本生成任务中的一致性，我们建立了一个全面的基准——RaTE-Eval，包含三个任务，每个任务都有其官方测试集以进行公平比较。RaTE-Eval 基准与现有的放射学报告评估基准的比较列于表中。

任务 1：句子级人类评分

现有的研究主要使用 ReXVal 数据集，该数据集要求放射科医生标注者在各种潜在类别中识别和计数错误。指标的质量通过总错误数与自动指标结果之间的 Kendall 相关系数来评估。可能的错误类别包括：

• 1. 发现的错误预测；
• 2. 发现的遗漏；
• 3. 发现的位置/位置不正确；
• 4. 发现的严重程度不正确；
• 5. 提及参考印象中不存在的比较；
• 6. 遗漏描述与先前研究变化的比较。

基于此框架，我们引入了两个改进以增强基准的鲁棒性和适用性：

(1) 错误计数的归一化：认识到简单的错误计数可能无法公平反映句子中的信息内容，我们调整了评分以标注潜在错误的数量。这种方法归一化了计数，确保了不同报告复杂性之间的更平衡评估。

(2) 医学文本的多样化：与现有的仅限于 MIMIC-CXR 数据集 的胸部 X 光片的基准不同，我们的数据集包括来自 MIMIC-IV 数据集 的 2215 份报告，涵盖 9 种成像模式和 22 种解剖结构。涉及的成像模式和解剖结构在 论文 中列出。

最终的人类评分结果是通过将总错误数除以潜在错误的数量来计算的。最终的句子级基准由 2215 份参考报告句子、候选报告句子和它们的评分组成。详细的标注过程请参考我们的 论文。

为了支持参数搜索，我们将所有报告按 8:2 的比例分为训练集和测试集，以确定与人类评分规则最一致的有效参数。

任务 2：段落级人类评分

鉴于医学影像解释通常涉及长文本而非孤立句子的评估，我们还将在分析中纳入段落级评估，来自 MIMIC-IV 数据集。

然而，由于人类难以完全准确地计数长段落中的所有错误，我们建立了一个 5 点评分系统进行评估，遵循国际公认的放射学同行评审标准 RadPEER。评分范围从 5（表示完全准确的报告）到 0（表示没有任何正确观察的报告）。详细的评分标准在我们的 论文 中提供，指导放射科医生如何在不同级别上评分。

最终的段落级基准由 1856 份参考报告、候选报告和它们的评分组成。同样，详细的标注过程请参考我们的 论文，为了支持参数搜索，我们也按 8:2 的比例将所有报告分为训练集和测试集。

任务 3：合成报告的评分

在这里，我们旨在评估我们的指标在处理同义词和否定词时的敏感性，使用合成数据。具体来说，我们使用了 Mixtral 8x7B，一个高级的开源大型语言模型（LLM），重写了来自 MIMIC-IV 数据集的 847 份报告。重写由两个定制的提示引导：

您是一名医学报告写作专家，请重写句子，您可以将实体更改为同义词，但请保持含义不变。

另一方面，使用相反的报告生成：

您是一名医学报告写作专家，请重写以下医学报告以表达相反的含义。

这一过程产生了一个包含三元组报告的测试集：原始报告、同义版本和匿名版本，详细内容在我们的 论文 中进一步说明。理想情况下，有效的评估指标应对同义报告显示更高的分数，从而更准确地反映报告的真实语义内容。

文件路径

select_short_sentence/ ├── Task1_sentence_rate/ │ ├── rate_train.csv │ ├── gt_report_train.json │ ├── similar_report_train.json │ ├── rate_test.csv │ ├── similar_report_test.json │ └── gt_report_test.json ├── Task2_paragraph_rate/ │ ├── rate_train.csv │ ├── gt_report_train.json │ ├── similar_report_train.json │ ├── rate_test.csv │ ├── similar_report_test.json │ └── gt_report_test.json └── Task3_synthetic_rate/ ├── rewrite_report.json └── opposite_report.json