ACI-Bench

该数据集由不同的子集组成，捕捉了不同的临床工作流程：1) 环境临床智能（aci）：医患对话；2) 虚拟助手（virtassist）：医患对话，带有触发Dragon Copilot的队列，例如“嘿，Dragon。给我看看胸部X光片”；3) 虚拟记录员（virtscribe）：医患对话，医生在开始时对患者进行简短的听写。数据集用于评估模型将临床对话转换为结构化临床笔记的能力。This dataset comprises multiple subsets that capture distinct clinical workflows: 1) Ambient Clinical Intelligence (ACI): doctor-patient conversations; 2) Virtual Assistant (VirtAssist): doctor-patient conversations with trigger utterances to activate Dragon Copilot, such as "Hey Dragon, show me the chest X-ray"; 3) Virtual Scribe (VirtScribe): doctor-patient conversations where the physician conducts a brief dictation at the beginning of the interaction. This dataset is used to evaluate models' ability to convert clinical dialogues into structured clinical notes.

原始信息汇总

ACI-Bench 数据集概述

数据集基本信息

• 数据集名称：ACI-Bench
• 许可证：CC-BY-4.0
• 任务类别：文本生成
• 标签：医疗、临床、对话
• 数据集来源地址：https://huggingface.co/datasets/mkieffer/ACI-Bench

数据集描述

该数据集用于评估模型将临床对话转换为结构化临床笔记的能力。数据集包含三个子集，分别捕捉不同的临床工作流程。

子集构成

1. ambient clinical intelligence (aci)：医患对话。
2. virtual assistant (virtassist)：医患对话，包含触发Dragon Copilot的队列（例如“hey, dragon. show me the chest x-ray”）。
3. virtual scribe (virtscribe)：医患对话，并在对话开头包含医生关于患者的简短口述。

数据规模

子集	train	valid	test1	test2	test3
aci	35	11	22	22	22
virtassist	20	5	10	10	10
virtscribe	12	4	8	8	8
总计	67	20	40	40	40

数据集文件结构

数据集包含三个配置（config），每个配置下包含相同的划分（split），数据文件均为Parquet格式。

配置与文件

• 配置名称：virtassist（默认配置）
  • train：virtassist/train.parquet
  • valid：virtassist/valid.parquet
  • test1：virtassist/test1.parquet
  • test2：virtassist/test2.parquet
  • test3：virtassist/test3.parquet
• 配置名称：aci
  • train：aci/train.parquet
  • valid：aci/valid.parquet
  • test1：aci/test1.parquet
  • test2：aci/test2.parquet
  • test3：aci/test3.parquet
• 配置名称：virtscribe
  • train：virtscribe/train.parquet
  • valid：virtscribe/valid.parquet
  • test1：virtscribe/test1.parquet
  • test2：virtscribe/test2.parquet
  • test3：virtscribe/test3.parquet

使用方式

可通过 datasets 库加载数据集，支持加载单个子集、单个划分、多个子集或组合划分。

来源与引用

• GitHub仓库：https://github.com/wyim/aci-bench
• 论文地址：https://www.nature.com/articles/s41597-023-02487-3
• 引用格式：

@article{aci-bench, author = {Wen-wai Yim and Yujuan Fu and Asma {Ben Abacha} and Neal Snider and Thomas Lin and Meliha Yetisgen}, title = {ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for Benchmarking Automatic Visit Note Generation}, journal = {Nature Scientific Data}, year = {2023} }

搜集汇总

数据集介绍

构建方式

在临床信息学领域，结构化临床记录的自动生成是提升医疗效率的关键挑战。ACI-Bench数据集通过精心设计的三种临床工作流子集构建而成：环境临床智能（aci）子集收录了标准医患对话；虚拟助理（virtassist）子集在对话中嵌入了触发语音助手的指令；虚拟文书（virtscribe）子集则在对话开端加入了医生的简短口述摘要。这些数据源自真实临床场景的模拟，经过专业标注，形成了总计167个样本的多维度语料库，并以Parquet格式组织为训练集、验证集和三个独立测试集，确保了数据在模型评估中的严谨性和泛化能力。

特点

该数据集的核心特点在于其多层次的任务设计，精准映射了不同临床环境下的记录生成需求。每个子集不仅捕捉了医患对话的完整语境，还通过引入外部指令或前置口述，模拟了实际医疗中辅助工具的使用场景。数据规模虽紧凑，但划分了五个独立的数据分割，包括三个互斥的测试集，为模型鲁棒性和泛化性能提供了细致的评估框架。此外，数据集遵循CC-BY-4.0许可，支持学术与商业用途，并以标准化格式托管，便于研究者进行可复现的实验比较。

使用方法

研究者可利用HuggingFace的datasets库灵活加载ACI-Bench，支持按子集或分割进行定制化访问。例如，可单独加载某个子集的所有分割，或同时载入多个子集形成对比实验数据。数据加载接口允许直接获取训练集、验证集及测试集，并能将多个测试集拼接或分别处理，以适应不同的评估策略。使用前需引用原始论文，确保学术规范的遵循。该数据集主要面向文本生成任务，适用于训练和评估临床对话到结构化笔记的转换模型，推动医疗自然语言处理技术的发展。

背景与挑战

背景概述

在医疗信息化与人工智能融合的浪潮中，临床笔记的自动化生成成为提升诊疗效率的关键技术。ACI-Bench数据集由Wen-wai Yim、Yujuan Fu、Asma Ben Abacha等研究人员于2023年构建，并发表于《Nature Scientific Data》期刊，旨在评估模型将临床对话转化为结构化临床笔记的能力。该数据集涵盖三种临床工作流子集：环境临床智能、虚拟助理和虚拟文书，核心研究问题聚焦于自然语言处理在医疗场景下的精准理解与生成，为临床决策支持系统提供了重要的基准资源，推动了智能医疗助手的发展。

当前挑战

ACI-Bench数据集所针对的领域挑战在于临床对话的复杂性与专业性，医疗术语的多样性、对话结构的非规范性以及语境依赖的强关联性，使得自动生成准确、完整的临床笔记面临语义理解与信息抽取的严峻考验。在构建过程中，研究人员需克服数据采集的隐私与伦理约束，确保患者信息的匿名化处理，同时平衡不同临床工作流的代表性，以有限的样本量覆盖多样化的医疗场景，这为数据集的规模扩展与质量保证带来了实际困难。

常用场景

经典使用场景

在临床信息学领域，ACI-Bench数据集为评估模型将医患对话自动转换为结构化临床笔记的能力提供了基准。该数据集通过三个子集模拟了不同的临床工作流程：环境临床智能（aci）专注于纯粹的医患对话转录，虚拟助理（virtassist）引入了语音触发指令以模拟现实中的辅助工具交互，而虚拟记录员（virtscribe）则结合了医生对患者的简短口述摘要。这些场景共同构成了一个多维度评估框架，使研究者能够系统性地测试自然语言处理模型在真实医疗环境中的表现，从而推动自动临床文档生成技术的发展。

解决学术问题

ACI-Bench数据集主要解决了临床自然语言处理中自动笔记生成的核心学术挑战，包括对话理解、信息抽取和结构化输出生成。它通过提供标注良好的医患对话和对应的临床笔记，为模型训练和评估建立了标准化基准，有助于量化模型在医疗术语识别、上下文关联和临床逻辑连贯性方面的性能。该数据集的意义在于弥合了通用语言模型与专业医疗应用之间的鸿沟，为研究社区提供了可重复的实验基础，促进了跨学科合作，并加速了人工智能在减轻临床文档负担方面的实际应用。

衍生相关工作

围绕ACI-Bench数据集，研究社区已经衍生出多项经典工作，主要集中在提升临床笔记生成的准确性和鲁棒性。例如，一些研究利用该数据集探索了基于Transformer的序列到序列模型在医疗对话摘要任务中的适应性，引入了领域特定的预训练策略。其他工作则专注于多模态学习，结合语音和文本数据以增强上下文理解。此外，数据集的公开可用性促进了跨机构合作，催生了针对临床信息隐私保护、模型可解释性以及低资源场景下高效微调方法的相关研究，进一步拓展了其在医疗人工智能领域的应用边界。