radiology-conflict

该数据集是一个多语言、多模态的数据集，旨在支持图像理解、文本生成及相关任务的研究。数据集包含图像以及与之关联的多种文本标注，核心特征包括：图像本身、原始描述、用于验证的描述、针对图像提出的问题、开放式答案、与原始描述相矛盾的冲突描述及其对应的冲突类型和开放式答案。此外，数据还标注了图像中可能存在的偏见和文本中可能存在的偏见，并包含干扰项。每个样本都标明了其语言和序列号。数据集按语言分为多个配置（包括阿拉伯语、捷克语、德语、希腊语、英语、西班牙语、波斯语、法语、希伯来语、印地语、印尼语、意大利语、日语、韩语、荷兰语、波兰语、葡萄牙语、罗马尼亚语、俄语、土耳其语、乌克兰语、越南语和中文），每个语言配置的训练集均包含100个样本，适用于多语言视觉语言模型训练、偏见检测、矛盾推理和开放式问答等任务。

原始信息汇总

数据集概述：Radiology Conflict

数据集名称：Radiology Conflict (radiology-conflict)

数据集地址：https://huggingface.co/datasets/multilingual-vlm-conflict/radiology-conflict

数据集描述：这是一个用于多语言视觉-语言模型冲突检测的放射学图像数据集。数据集的目的是评估和训练模型在放射学影像上处理文本-图像冲突的能力。

数据集配置

该数据集包含23个配置（config），覆盖多种语言。每个配置均包含一个训练集（train split），每个配置的样本数均为100条。具体配置如下：

配置名称 (config_name)	语言	示例数
ar	阿拉伯语	100
cs	捷克语	100
de	德语	100
default	默认（语言未指定）	100
el	希腊语	100
es	西班牙语	100
fa	波斯语	100
fr	法语	100
he	希伯来语	100
hi	印地语	100
id	印度尼西亚语	100
it	意大利语	100
ja	日语	100
ko	韩语	100
nl	荷兰语	100
pl	波兰语	100
pt	葡萄牙语	100
ro	罗马尼亚语	100
ru	俄语	100
tr	土耳其语	100
uk	乌克兰语	100
vi	越南语	100
zh	中文	100

数据特征

每个样本包含以下13个特征字段：

• image：图像数据，格式为 image。
• caption_verification：字符串，用于验证标题。
• original_caption：字符串，原始标题。
• question：字符串，基于图像提出的问题。
• image_bias：字符串，图像中的偏见信息。
• open-ended_answer：字符串，开放式答案。
• conflicting_caption：字符串，具有冲突性的标题。
• conflict_type：字符串，冲突类型。
• text_bias：字符串，文本中的偏见信息。
• conflicting_open-ended_answer：字符串，具有冲突性的开放式答案。
• distractor：字符串，干扰项。
• language：字符串，样本使用的语言。
• serial_no：整数，序列号。

数据划分

所有配置均只有一个划分（split），即 train（训练集）。每个配置的训练集大小约为 25 MB，包含100个样本。

数据文件

数据以 Parquet 格式存储，每个配置的数据文件路径为：

• {config_name}/train-*（对于非 default 配置）
• data/train-*（对于 default 配置）

搜集汇总

数据集介绍

构建方式

在医学影像与自然语言处理的交叉领域，radiology-conflict数据集旨在系统性评估视觉语言模型对放射学影像描述中的冲突信息的识别能力。该数据集基于多语言框架构建，覆盖了阿拉伯语、中文、英语等24种语言，每种语言配置下均包含100个精心设计的训练样本。每个样本以一张放射学图像为核心，通过成对呈现原始描述与冲突描述，并标注冲突类型、图像偏差与文本偏差等关键维度，构成了一个多维度的冲突检测基准。

特点

该数据集的核心特点在于其精细的冲突结构化设计。每个样本不仅包含原始的放射学描述与经过篡改的冲突描述，还通过'冲突类型'字段明确标注了矛盾的根源，例如诊断结论不一致或解剖结构错误。同时，'图像偏差'与'文本偏差'字段分别刻画了视觉信息与语言信息中的误导性线索，而'干扰项'与'开放式答案'的配置则为深度评估模型在复杂推理场景下的鲁棒性提供了独特视角。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库按需加载指定语言的配置，例如选择'zh'配置调用中文子集。数据以图像与文本配对的形式呈现，可直接用于多模态模型的微调与评估。典型的应用场景包括训练模型区分真实描述与冲突描述，或分析模型在不同语言背景下的偏差表现。由于所有样本均以'train'划分提供，建议将其随机拆分为训练与验证子集以开展有监督学习实验。

背景与挑战

背景概述

在医学影像分析领域，多模态大语言模型（MLLMs）的快速发展为放射学报告生成与图像理解带来了革命性机遇，然而现有模型在面对含有文本与图像信息冲突的复杂场景时，其鲁棒性与可靠性仍面临严峻考验。radiology-conflict数据集由国际多学科团队于2024年精心构建，旨在系统性地评估和增强MLLMs在放射学语境下处理信息冲突的能力。该数据集覆盖阿拉伯语、中文、英语等24种语言，每种语言配置100个精心设计的训练样本，每个样本均包含原始放射影像与描述，以及与之相矛盾的人工构造文本，从而精准模拟临床实践中可能出现的误诊或描述冲突。作为首个专注于放射学领域信息冲突评估的基准资源，该数据集聚焦于两大核心研究问题：模型能否准确识别图像与文本描述间的冲突？不同类型的冲突（如解剖位置错误、病理特征矛盾）对模型输出有何差异化影响？该数据集的问世填补了放射学AI安全评估的关键空白，为构建更可信、更鲁棒的医学影像分析系统奠定了方法论基础。

当前挑战

radiology-conflict数据集所解决的领域核心挑战在于，临床放射学实践中，影像报告与图像本身可能存在隐蔽且危险的语义冲突（如报告描述左侧肺叶结节而图像实际显示右侧），而现有MLLMs缺乏有效识别此类矛盾并做出正确推理的能力。具体而言，该数据集面临三重构建性挑战：首先，生成具有医学真实性的冲突文本需资深放射科医师参与，以确保矛盾描述在单一语句层面成立但整体偏离事实，这对数据质量把控提出极高要求；其次，涵盖24种语言意味着跨语言医学术语的标准化与冲突类型一致性维护成为工程瓶颈；最后，冲突类型（如解剖误标、病理特征反转、阴性阳性谎言）的划分需兼顾临床多样性与评估可量化性，每类仅100样本的规模下，需精心设计以确保冲突的区分度与代表性，避免模型因样本量过小而产生过拟合或边缘案例失效的偏差。

常用场景

经典使用场景

在医学影像与自然语言处理交叉领域，radiology-conflict数据集专为多模态矛盾检测任务而生。其经典使用场景聚焦于评估和提升视觉语言模型在放射学报告中的鲁棒性，通过构建原始描述与可替换矛盾描述之间的语义冲突，促使模型识别影像与文本之间的不一致性。研究者利用该数据集对模型进行微调和测试，使其在诊断报告生成、图像描述验证等任务中具备捕捉临床信息冲突的能力。这种多语言（涵盖22种语言）设计的冲突样本集，为跨语言医学多模态理解提供了稀缺的基准资源，尤其适合探索模型在信息对抗条件下的决策边界。

解决学术问题

该数据集系统性地解决了放射学领域中多模态信息冲突的评估难题，填补了视觉语言模型在医学场景下可靠性与安全性研究的空白。学术研究长期受困于缺乏标注精细的矛盾数据对，难以量化模型在面对临床证据相悖时的判断失准程度。radiology-conflict通过引入冲突类型、图像偏差、文本偏差等结构化标注，使研究者能深入剖析模型在感知与认知层面的脆弱性。其意义在于推动构建更可信的医学AI系统，为可解释性研究提供冲突归因的量化工具，并揭示语言多样性对模型鲁棒性的影响，这对全球医疗资源公平分配具有深远影响。

衍生相关工作

该数据集催生了一系列多模态对抗性与鲁棒性研究的前沿工作。基于radiology-conflict，研究者开发了专门针对医学影像的对抗文本生成方法，探索如何构造临床语境下的自然语言扰动以暴露模型盲区。在模型改进方面，衍生出融合放射学知识图谱的冲突感知注意力机制，以及基于对比学习的矛盾表征解耦网络。此外，跨语言版本的冲突数据激发了多模态多任务学习框架的革新，促成了同时处理语言偏离和视觉模态对齐的统一评估基准，这些工作共同将医学多模态研究推向更注重安全临界场景的新范式。