CARES

CARES是由北卡罗来纳大学教堂山分校等机构创建的综合性医疗视觉语言模型信任度评估数据集。该数据集包含约41,000个问题-答案对，覆盖16种医疗图像模式和27个人体解剖区域。数据集通过整合多个开源医疗视觉语言和图像分类数据集构建而成，旨在评估医疗大型视觉语言模型在信任度方面的表现，包括事实性、公平性、安全性、隐私性和鲁棒性。CARES的应用领域主要集中在提高医疗诊断的准确性和可靠性，解决现有模型在实际应用中的信任问题。CARES is a comprehensive medical vision-language model trustworthiness evaluation dataset developed by the University of North Carolina at Chapel Hill and other institutions. This dataset comprises approximately 41,000 question-answer pairs, covering 16 medical imaging modalities and 27 human anatomical regions. Built by integrating multiple open-source medical vision-language and image classification datasets, it is designed to assess the performance of medical large-scale vision-language models across core trustworthiness dimensions, including factuality, fairness, safety, privacy, and robustness. The primary application scenarios of CARES center on improving the accuracy and reliability of medical diagnosis, and addressing the trust-related challenges faced by existing models in real-world clinical deployments.

搜集汇总

数据集介绍

构建方式

CARES基准数据集基于七种开源医学视觉语言与图像分类数据源构建，涵盖MIMIC-CXR、IU-Xray、Harvard-FairVLMed、PMC-OA、HAM10000、OL3I及OmniMedVQA。通过将医学报告与分类标签转化为封闭式（是非题、多选题）与开放式问答对，并利用GPT-4生成多样化问题模板与自我校验，最终形成约18K图像与41K问答对，覆盖16种医学影像模态与27个人体解剖区域。

使用方法

使用者可通过GitHub仓库获取CARES基准数据集与评估代码。评估时，针对封闭式问题采用精确匹配或字符串相似度计算准确率；开放式问题则借助GPT-4对回答的助益性、相关性、准确性与详细程度进行1-10分评分并归一化。评估流程需加载预定义的五维度测试集，并依据对应指标（如准确率、弃权率、毒性分数、群体差异度）量化模型可信度表现。

背景与挑战

背景概述

随着人工智能技术在医疗领域的深度渗透，医学大语言视觉模型（Med-LVLMs）在疾病识别、治疗规划等任务中展现出巨大潜力，为个性化医疗带来曙光。然而，这些模型的可信度尚未得到系统验证，其部署可能引发严重风险。2024年，由北卡罗来纳大学教堂山分校、伊利诺伊大学厄巴纳-香槟分校等多家机构联合发布的CARES基准数据集，旨在全面评估Med-LVLMs的可信度。该数据集涵盖信任性、公平性、安全性、隐私性和鲁棒性五个维度，包含约4.1万对问答，覆盖16种医学影像模态和27个解剖区域。CARES的提出不仅填补了多维度可信度评估的空白，也为推动更可靠的医疗AI模型发展奠定了重要基础。

当前挑战

CARES数据集所解决的领域问题核心在于Med-LVLMs的可信度缺失，具体挑战包括：模型在事实性上存在显著幻觉，准确率普遍低于50%，尤其在开放性问题及罕见模态中表现更差；不确定性估计能力薄弱，常表现出过度自信，增加误诊风险；公平性评估揭示模型在不同年龄、性别和种族群体间存在显著性能差异，可能加剧医疗健康不平等。在构建过程中，挑战则源于数据来源的多样性与质量控制：需从七个公开数据集中整合18K张图像与41K个问答对，覆盖16种模态与27个解剖区域，并确保问答对的格式统一与语义准确性。此外，为防范训练数据泄露，严格选用官方测试集并剔除早期公开数据集，进一步增加了数据筛选与处理的复杂性。

常用场景

经典使用场景

在医学人工智能领域，CARES数据集被广泛用于评估医学大视觉语言模型（Med-LVLMs）的可信度。该数据集涵盖了16种医学影像模态和27个解剖区域，包含约41K个问答对，支持封闭式和开放式问题格式。研究者通过CARES系统性地测试模型在真实性、公平性、安全性、隐私性和鲁棒性五个维度的表现，从而全面衡量模型在临床决策支持中的可靠性。其经典使用场景包括对模型事实性幻觉的检测、不确定性估计的评估，以及跨不同人口统计学群体的公平性分析。

解决学术问题

CARES旨在解决医学大视觉语言模型在可信度评估方面缺乏系统性基准的问题。此前的研究多聚焦于单一维度（如诊断准确性），而忽略了公平性、安全性、隐私保护和鲁棒性等关键因素。该数据集通过多维度的标准化评估，揭示了现有模型普遍存在的事实性错误、过度自信、对攻击的脆弱性以及隐私保护意识薄弱等缺陷。其学术意义在于为后续研究提供了统一的评估框架，推动开发更可靠、更安全的医学AI系统，从而减少误诊和医疗资源浪费的风险。

实际应用

在实际应用中，CARES数据集可服务于医疗AI系统的部署前验证与持续监控。例如，医院或医疗机构在引入基于Med-LVLMs的辅助诊断工具时，可利用CARES评估其在不同年龄、性别和种族群体间的诊断公平性，避免因数据偏差导致的健康差异。同时，该数据集可用于测试模型在面对恶意攻击（如诱导输出有毒内容或泄露患者隐私）时的防御能力，确保临床环境中的安全合规。此外，CARES还能帮助开发者识别模型在罕见模态或高噪声图像下的鲁棒性短板，从而优化训练策略。

数据集最近研究

最新研究方向

在医学视觉语言模型（Med-LVLMs）可信度评估的前沿探索中，CARES基准的提出标志着该领域从单一维度评价向多维度系统化评估的范式转变。当前研究聚焦于揭示模型在真实性、公平性、安全性、隐私保护和鲁棒性五大核心维度上的深层缺陷，这一方向与医疗AI部署中日益严峻的伦理与安全挑战紧密相关。值得注意的是，研究发现现有模型普遍存在事实性幻觉、对罕见模态与解剖区域的低适应性，以及面对对抗性攻击时的脆弱性，这些发现直接呼应了近期全球医疗AI监管框架对模型透明度和公平性的严格要求。CARES通过覆盖16种医学影像模态和27个解剖区域的约4.1万问答对，为构建更可靠的临床级Med-LVLM提供了关键评估工具，其影响力已延伸至推动医疗AI标准化评估体系的建立，并警示行业需在模型预训练阶段即嵌入隐私保护与公平性约束机制。

相关研究论文

• CARES: A Comprehensive Benchmark of Trustworthiness in Medical Vision Language Models

  北卡罗来纳大学教堂山分校 · 2024年