HORB: Healthcare Operational Reasoning Benchmark Suite

HORB是一个原创的医疗AI基准套件，旨在评估现实医疗工作流中的操作推理。它评估AI系统在涉及优先级、工作流依赖、所有权边界、时间约束、文档质量、人员限制和资源可用性的现实医疗操作中是否能够进行推理。该套件包含12个医疗操作推理基准，覆盖住院、门诊、围手术期、行为健康、药房和病例管理等多个领域，使用虚构材料，不包含真实患者数据。HORB is an original medical AI benchmark suite designed to evaluate operational reasoning in real-world clinical workflows. It assesses whether AI systems can perform reasoning across realistic clinical operations involving priorities, workflow dependencies, ownership boundaries, temporal constraints, documentation quality, staffing limitations, and resource availability. This suite includes 12 clinical operational reasoning benchmarks, covering multiple domains such as inpatient care, outpatient care, perioperative care, behavioral health, pharmacy, and case management. All materials used are fictional and contain no real patient data.

原始信息汇总

数据集概述：HORB (Healthcare Operational Reasoning Benchmark Suite)

• 版本： 1.0
• 作者： Meredith Reese, RN
• 状态： 初始公开作品集发布
• 核心评估问题： AI 系统能否在现实的医疗约束下，区分表面的操作就绪状态与实际的可执行就绪状态，并做出合理的操作决策。

项目聚焦

HORB 是一个原创的医疗 AI 基准测试套件，旨在评估 AI 系统在复杂的多文档医疗场景中进行操作推理的能力。其重点不在于评估医学知识，而在于评估 AI 在优先级排序、工作流依赖、权限边界、时间约束、文档质量、人员配置和资源可用性等方面的操作判断能力。

基准测试内容

• 基准测试数量： 12 个原创医疗操作推理基准测试
• 源文档数量： 336 份虚构的医疗操作源文档
• 覆盖领域： 涵盖住院、门诊、围手术期、急性后期、行为健康、药房和病例管理等医疗工作流。

12 个基准测试领域详情

基准测试	领域	操作重点
HORB-001	产科运营	产房护士长 / 产科分诊流程
HORB-002	消毒供应与围手术期运营	消毒供应 / 手术室手术车就绪流程
HORB-003	家庭健康运营	家庭健康探视协调 / 实地护理路线
HORB-004	门诊输液与肿瘤运营	门诊输液中心 / 肿瘤治疗就绪
HORB-005	临终关怀运营	临终关怀值班 / 症状危机与访视路线
HORB-006	急诊运营	急诊分诊 / 房间分配与救护车下客流程
HORB-007	围手术期运营	围手术期加台 / 周转流程
HORB-008	行为健康运营	行为健康危机单元 / 精神科入院与安全安置
HORB-009	医院药房与护理过渡	医院药房 / 药物核对与出院就绪
HORB-010	病例管理与出院计划	医院病例管理 / 出院安置与患者周转
HORB-011	围手术期入院前检查	围手术期入院前检查 / 手术当日许可
HORB-012	初级保健运营	初级保健当日分诊 / 日程路由流程

评估的核心能力

• 多文档推理
• 操作优先级排序
• 时间推理
• 工作流协调
• 资源分配
• 权限边界识别
• 来源溯源
• 不确定性管理

设计用于揭示的常见故障模式

• 将表面就绪视为实际就绪
• 做出过早的操作承诺
• 忽略未解决的依赖关系
• 违反角色或权限边界
• 依赖过时或复制的信息
• 错过时间敏感的安全信号
• 生成表面完美但缺乏依据的计划

设计理念

医疗操作既奖励果断行动，也奖励适当的克制。一个高质量的操作计划不仅仅是识别接下来可能发生什么，而是根据已确认的信息、可用资源、实际工作流和适当权限，识别接下来实际可以发生什么。

预期用途

• 医疗 AI 评估
• 大型语言模型（LLM）基准测试设计
• 临床工作流推理审查
• AI 响应评分与评分标准设计
• 医疗操作模拟
• 临床文档与操作质量控制作品集工作
• 在 AI 评估岗位中展示医疗领域专业知识

包含的文件与内容

存储库包含公开作品集版本 HORB v1.0，主要文件包括：

• Executive_Summary.md、Project_Summary.md、Methodology.md、Benchmark_Overview.md
• Common_Failure_Modes.md、Scope_and_Limitations.md、Design_Philosophy.md、Why_Nursing_Matters.md
• CITATION.md、LICENSE.md、FILE_INDEX.md
• HORB_v1_0_12_Benchmark_Package.zip：可下载的压缩包，包含全部 12 个基准测试场景。

每个基准测试文件夹内包含：

• 00_Design_Brief.md、UseCase_System_Prompt.md、Strict_Grading_Guidelines.md
• source_docs/ 目录（虚构操作源文档）
• SourceDocs.zip（归档源文档包）
• Source_Documents_Manifest.md
• original_batches/ 目录（如有）

范围与免责声明

所有基准测试材料均为虚构，仅用于评估和作品集目的。不包含任何真实患者信息、健康记录或医疗机构数据。HORB 不是临床决策支持、医疗建议、患者护理指导，也不能替代机构政策、临床医生判断或持证医疗实践。

搜集汇总

数据集介绍

构建方式

HORB基准测试套件由注册护士Meredith Reese设计，旨在评估AI系统在复杂医疗工作流中的操作推理能力。数据集包含12个原创基准场景，覆盖住院、门诊、围手术期、行为健康、药房和个案管理等多个领域。每个基准场景均包含设计简报、系统提示、评分细则以及336份虚构操作源文档，确保材料的真实感和复杂性。所有内容均为虚构，不涉及任何真实患者信息或医疗数据，以保证隐私和合规性。基准测试通过多文档协调查、优先级排序和时间约束等维度，系统性地构建了评估框架，特别关注AI在不确定性下区分表面就绪度与实际可执行就绪度的能力。

特点

HORB的核心特色在于聚焦医疗操作的执行推理，而非单纯的医学知识检索。其12个基准场景涵盖产科、急诊、临终关怀等多样化操作流程，每个场景均设计有复杂的多文档依赖关系和隐含约束。数据集特别强调评估AI对时间敏感性信号、资源分配和所有权边界的处理能力，以及避免因忽略未解决依赖项而做出过早操作承诺的倾向。通过揭露常见失败模式，如依赖过时信息或产生看似合理但缺乏支持的方案，HORB能够揭示AI在真实医疗环境中的操作判断短板，从而提供更全面的能力评估视角。

使用方法

用户可通过下载HORB_v1_0_12_Benchmark_Package.zip文件获取全部12个基准场景。每个基准文件夹包含设计简报、系统提示、严格评分指南及虚构源文档。评估时，用户需按照系统提示向AI模型输入多文档场景，并根据评分准则对其输出进行严格评判。数据集适用于医疗AI评估、大语言模型基准测试、临床工作流推理审查以及AI响应评分与规则设计。所有材料均为虚构，仅供评估和组合使用，不可作为临床决策支持或医疗建议。建议参考CITATION.md文件引用格式，并遵守LICENSE.md中的使用条款。

背景与挑战

背景概述

在医疗人工智能高速发展的当下，AI系统正从简单的信息检索向复杂的决策支持演进，然而其在实际临床工作流中的操作推理能力仍鲜有评估。HORB（Healthcare Operational Reasoning Benchmark Suite）由注册护士Meredith Reese于2025年创建，是一套原创的医疗操作推理基准测试套件，旨在衡量AI系统能否在复杂、多文档的医疗场景中辨别「表面操作就绪」与「真正可执行就绪」之间的微妙差异。该项目涵盖住院、门诊、围手术期、居家护理、行为健康、药事管理等12个典型领域，通过336份虚构源文档和严谨的评分准则，系统性考察AI的编排优先、时限推理、资源分配与角色边界等核心能力，为医疗AI在真实运营环境中的可靠性评估开辟了全新视角。

当前挑战

HORB所应对的核心挑战在于，现有AI评估体系往往偏重静态知识问答而忽略动态操作推理。领域问题层面，医疗运营决策要求AI在信息不全、文档冲突、时间敏感的条件下，做出既符合安全规范又能实际推进工作的判断，这类「可执行性推理」在当前大语言模型中极易失败。构建过程中，挑战则体现在如何设计12个足够真实且跨域覆盖的虚构场景，确保每个基准都能暴露AI将「表面就绪」误判为「真正可行」的典型失败模式，同时规避对真实患者数据的依赖；此外，还需制定一套可量化且严格的操作性评分标准，使模型的推理过程而非信息罗列成为评价焦点，这要求作者兼具深厚的临床经验与严谨的评估设计能力。

常用场景

经典使用场景

HORB基准套件最经典的使用场景在于评估人工智能系统在复杂医疗运营环境中的推理能力。与传统的医学知识测试不同，HORB聚焦于多文档协同推理、操作优先级判断、时间约束管理以及资源调配等现实挑战。例如，在围手术期工作流、急诊分诊或居家健康访视等场景中，模型需要辨别表面上的操作就绪状态与实质上的可执行就绪状态。该套件通过12个覆盖住院、门诊、行为健康、药房等多个领域的基准任务，系统性地检验AI能否在不确定性条件下做出符合实际运营逻辑的决策，为医疗AI的鲁棒性评估提供了标准化框架。

衍生相关工作

基于HORB基准套件，衍生了一系列专注于医疗运营推理的相关工作。研究者们借鉴其12个基准场景的设计方法，开发了针对特定领域（如急诊、药房）的轻量级推理评估子集，用于快速迭代模型。部分工作拓展了HORB的评分标准，将可执行推理与时间敏感性指标结合，形成新的评估框架。此外，HORB揭示的常见失败模式——如过早承诺与依赖过时信息——被用作训练数据的增强策略，以提升模型在医疗多文档任务中的鲁棒性。这些衍生工作共同深化了对医疗运营智能边界的研究，为构建更可靠的医疗AI系统奠定了方法论基础。

数据集最近研究

最新研究方向

当前医疗人工智能领域的前沿研究正从单纯的医学知识问答转向复杂的操作推理能力评估，HORB基准套件应运而生，它聚焦于检验AI系统能否在真实的医疗工作流中区分表面操作就绪与实际可执行就绪。这一方向紧密关联医疗安全与效率这一热点议题，尤其在多文档协同、资源动态调配、职责边界判别等关键场景下，HORB揭示了AI模型在忽略未解决的依赖关系、做出过早的操作承诺等方面的常见失败模式。其意义在于推动医疗AI从“自信完成”迈向“可执行推理”，为部署安全、可靠、具备真实操作判断力的临床辅助系统提供了严谨的评估框架与设计哲学。