CraneAILabs/uccb-health

UCCB-Health Benchmark是一个基于乌干达临床指南（UCG）2023的乌干达特定临床指南基准数据集。它采用双轨结构：Track A（决策支持）主要评估乌干达临床决策支持和分诊能力，包括危险信号、转诊/升级、鉴别推理、诊断/评估、检查、特殊群体（无药物建议）以及拒绝/边界处理等类别，重点关注边界安全性；Track B（协议召回）次要评估精确的UCG治疗和剂量知识，包括一线药物、途径、频率、持续时间、剂量计划等。数据集包含1,008个项目，分布在5个文件中，涵盖自由形式问答、多项选择题和真/假陈述。数据集旨在评估临床助理模型的安全性和性能，避免不安全的处方行为。UCCB-Health Benchmark is a Uganda-specific clinical guideline benchmark grounded in the Uganda Clinical Guidelines (UCG) 2023. It uses a multi-track structure: Track A (Decision Support) primarily measures Uganda clinical decision support and triage, covering categories such as danger signs, referral/escalation, differential reasoning, diagnosis/assessment, investigations, special populations without drug-specific advice, and refusal/boundary handling, with a focus on boundary safety; Track B (Protocol Recall) secondarily measures exact UCG treatment and dosing knowledge, including first-line drugs, routes, frequencies, durations, dosage schedules, and treatment protocol details. The dataset contains 1,008 items across 5 files, covering freeform questions, multiple-choice questions, and true/false statements. It is designed to evaluate the safety and performance of clinical assistant models, avoiding unsafe prescribing behavior.

搜集汇总

数据集介绍

构建方式

UCCB-Health基准数据集基于2023年乌干达临床指南构建，旨在评估模型在乌干达特定临床环境下的决策支持能力。数据集采用双轨结构，包含决策支持与协议召回两大轨道。决策支持轨道涵盖危险信号识别、转诊升级、鉴别推理、诊断评估等七类任务，形式包括自由文本问答、多项选择和真假判断题。协议召回轨道则聚焦准确的治疗方案与剂量记忆。数据共计1008项，来源于对临床指南的系统化映射与模板化处理，并预留了32种待评估条件作为未来泛化性能测试的留出集。

使用方法

使用UCCB-Health时，应分别报告决策支持和协议召回的成绩，不可混合计算平均分。理想模型表现为高决策支持与高边界安全性，而高协议召回伴随低边界安全则提示过度开药风险。数据集支持自由文本、多项选择和真假判断三种评估格式，研究人员可根据需要选用相应文件。对于未来训练，应将留出集中的32种条件排除在训练数据外以验证泛化能力。推荐在报告中采用矩阵式表格清晰展示模型在各维度上的表现，并结合检索增强生成等工具进行对比实验。

背景与挑战

背景概述

UCCB-Health基准数据集由Crane AI Labs于2026年创建，旨在评估大型语言模型在乌干达临床指南（UCG 2023）背景下的决策支持能力。该数据集聚焦于临床安全这一核心研究问题，通过双轨结构将决策支持与治疗方案记忆分离，为医疗AI的安全部署提供了评估框架。其影响力体现在：首次针对乌干达等中低收入国家的临床实践构建评估基准，填补了这些地区数字健康工具测试标准的空白，推动模型在资源有限环境中实现安全、符合指南的临床辅助。

当前挑战

数据集面临多重挑战。首先，领域问题方面，医疗AI需要在不越界开药的前提下提供精准的临床决策支持，而现有模型往往混淆诊断辅助与处方功能，导致安全风险。其次，构建过程中需设计平衡两项任务的评估体系，避免治疗记忆密集型问题对决策支持模型的误判；此外，数据标注依赖算法与大型语言模型辅助，条件重叠于旧版检查点可能影响泛化性验证，还需专家临床审核以消除算法生成的干扰项偏差，确保基准的权威性与实用性。

常用场景

经典使用场景

在临床决策支持系统的评估领域，UCCB-Health基准数据集扮演着至关重要的角色。该数据集基于2023年乌干达临床指南构建，采用创新的双轨结构，分别衡量模型在临床决策支持和方案精确回忆两个维度的表现。研究者利用该数据集评估模型是否能够提供符合乌干达国情的临床决策辅助，同时避免不安全的用药建议。其自由回答、多项选择和真/假判断题等多种格式，使其成为检验大型语言模型在低资源临床环境中安全性、准确性和边界处理能力的理想工具。

解决学术问题

UCCB-Health数据集有效解决了临床AI评估领域的两个关键学术难题：如何在不混淆模型安全契约的前提下，同时评估其临床推理能力和方案记忆能力。通过将决策支持与方案回忆分离评估，该数据集揭示了模型在高召回与低边界安全之间的潜在风险，即过度自信的处方行为可能导致危险后果。这一设计推动了临床AI安全评估方法论的发展，为建立低资源国家特定临床环境下的安全检测标准奠定了数据基础，显著提升了模型在医疗场景中责任边界研究的可信度。

实际应用

在实际应用中，UCCB-Health主要用于乌干达及类似低资源地区临床辅助工具的安全性与有效性验证。医疗机构可以利用该基准筛选出具备高决策支持性能和高边界安全的语言模型，将其部署为基层医生的临床思维助手，协助识别危险信号、指导分诊和转诊决策。同时，该数据集还可用于评估检索增强生成框架下模型获取精确治疗方案的能力，促使开发者将用药建议交由专业检索工具处理，从而在提升临床效率的同时保障患者安全。

数据集最近研究

最新研究方向

当前，UCCB-Health基准数据集引领了低资源地区临床决策支持系统的安全评估前沿，尤其聚焦于乌干达临床指南（UCG 2023）的本地化适配。该数据集创新性地采用双轨架构，将决策支持与协议召回分离，以防范未经管控的处方建议带来的安全隐患，这与全球范围内对医疗AI安全责任界定的热议紧密相连。通过考核模型在危险信号识别、转诊推理及边界拒绝等维度的表现，该基准为评估“安全第一”的临床助手提供了黄金标准，深刻影响了资源受限地区智能诊疗工具的研发方向与伦理框架构建。