DischargeSim

DischargeSim是一个用于评估大型语言模型（LLM）在出院教育中扮演个性化出院导师能力的模拟基准。它模拟了医生代理和具有不同心理社会背景的病人代理之间的多轮对话。数据集围绕六个临床验证的出院主题进行构建，包括诊断、检查和治疗、返院指标、药物、出院后治疗和随访。每个主题都作为一个特定阶段的教育目标。医生代理必须不仅要提供准确的信息，还要根据病人代理的心理社会背景（如健康素养、教育程度、情绪状态）应用适当的策略，如简化、情绪支持和共同决策。DischargeSim支持三个相互关联的评价层次：对话质量、出院总结生成和病人理解。

DischargeSim is a simulated benchmark designed to evaluate the capability of large language models (LLMs) to serve as personalized discharge tutors for patient discharge education. It simulates multi-turn conversational interactions between a physician agent and patient agents with diverse psychosocial backgrounds. The dataset is constructed around six clinically validated discharge-related topics, including diagnosis, examinations and treatments, readmission indicators, medications, post-discharge care, and follow-up visits. Each topic functions as an educational goal for a specific phase of discharge education. The physician agent must not only provide accurate medical information but also apply appropriate communication strategies tailored to the patient agent’s psychosocial characteristics, such as health literacy, educational level, and emotional state—including simplifying medical explanations, offering emotional support, and engaging in shared decision-making. DischargeSim supports three interrelated evaluation dimensions: dialogue quality, discharge summary generation, and patient comprehension.

原始信息汇总

DischargeSim 数据集概述

数据集简介

DischargeSim 是一个医疗出院模拟框架，用于创建真实的医患互动以模拟医院出院场景。

核心功能

• 使用 AI 代理扮演医生和患者角色来模拟医疗出院对话
• 医生代理指导患者理解诊断、治疗、药物和随访护理计划
• 生成结构化输出包括完整对话日志、AHRQ 格式的访后计划和临床笔记格式的出院摘要

技术实现

• 支持 Python 3.9+ 环境
• 可使用 vLLM 运行本地模型
• 支持 OpenAI API 调用

输出内容

1. history.csv - 医患完整对话日志
2. plan.jsonl - AHRQ 格式的结构化访后计划
3. summary.jsonl - 临床文档格式的出院摘要

许可协议

CC-BY-NC 4.0 许可证

搜集汇总

数据集介绍

构建方式

DischargeSim数据集构建基于MIMIC-IV临床数据库，从中提取49份出院记录作为基础数据。通过专家标注流程，每份记录生成5至10道多选题及其答案，涵盖诊断、用药、随访等六大临床主题。患者代理配置了多样化的健康素养、教育水平和情感状态组合，以模拟真实患者群体的异质性。对话模拟采用多轮交互结构，医生代理需依据患者特征动态调整沟通策略，确保教育内容的个性化和适应性。

特点

该数据集的核心特征体现在其多层次评估框架上，涵盖对话质量、个性化文档生成及患者理解度三大维度。对话质量通过自动指标和LLM-as-Judge框架评估语言清晰度、连贯性及人文关怀；文档生成模块结合词汇重叠度（ROUGE）、临床概念覆盖（UMLS-F1）及个性化程度指标；患者理解度则通过专家设计的多选题考试量化。数据集还引入六种临床沟通策略（如情感支持、决策共享），并支持对18种大语言模型的系统性评测，揭示模型在差异化患者画像下的性能波动。

使用方法

使用DischargeSim时，研究者首先初始化患者代理，设定其健康素养、教育背景及情感状态参数。医生代理与患者代理围绕六大临床主题展开多轮对话，每阶段需完成特定教育目标。对话结束后，系统自动生成个性化出院摘要和结构化AHRQ清单，并启动患者理解度考试。评估环节采用DeepSeek-V3作为评判模型，从语言质量、事实准确性及策略应用等维度输出量化结果。该框架支持对比不同LLM在出院教育场景中的适应性，为临床AI的公平性和个性化研究提供基准。

背景与挑战

背景概述

DischargeSim数据集由美国马萨诸塞大学阿默斯特分校与贝德福德医疗保健研究中心联合团队于2025年创建，旨在填补临床自然语言处理领域在出院沟通评估方面的研究空白。该数据集聚焦于医患出院教育场景，通过模拟多轮对话评估大型语言模型作为个性化出院教育者的能力，其核心研究问题在于如何通过结构化对话提升患者对出院指导的理解与依从性。该工作首次将患者健康素养、教育背景及情绪状态等多维度心理社会特征纳入评估框架，对推动临床人工智能在患者教育领域的公平性与个性化发展具有里程碑意义。

当前挑战

该数据集解决的领域挑战包括：出院沟通中因患者健康素养差异导致的信息误解问题、多轮对话情境下个性化教育策略的适应性挑战，以及医疗指令语义准确性与患者可理解性之间的平衡难题。构建过程中的技术挑战主要体现在：基于MIMIC-IV临床笔记的结构化数据提取与语义对齐、六阶段对话流程的临床有效性验证，以及基于LLM-as-Judge框架的自动化评估体系与人工专家评估的一致性保障。

常用场景

经典使用场景

在医疗人工智能领域，DischargeSim数据集被广泛用于模拟出院医患沟通场景，通过多轮对话结构评估大型语言模型作为个性化出院教育者的能力。该数据集覆盖六个临床验证的主题，包括诊断信息、药物治疗和随访计划，要求模型在交互中适应患者的教育水平、健康素养和情感状态，从而生成符合实际临床需求的对话内容。

衍生相关工作

DischargeSim推动了多个衍生研究，包括基于其框架的个性化摘要生成模型、结构化AHRQ清单自动完成工具，以及针对低健康素养患者的适应性对话策略优化。这些工作扩展了医疗AI在出院后教育中的应用，并为后续基准如临床沟通公平性评估提供了基础。

数据集最近研究

最新研究方向

在医疗人工智能领域，DischargeSim数据集的推出标志着出院沟通教育评估的重要进展。该数据集聚焦于大型语言模型在出院后医患对话中的个性化教育能力，通过模拟多轮对话和多样化患者心理社会特征，系统评估模型在对话质量、个性化文档生成及患者理解度三个维度的表现。前沿研究揭示，模型规模并非决定教育效果的唯一因素，中等规模模型在策略使用与内容完整性间展现出更优平衡。这一发现挑战了传统 scaling law 的预期，推动研究转向沟通策略优化与健康公平性实现。当前热点集中于低健康素养患者的模型适应性改进，以及情感支持与个性化沟通的算法创新，为临床人工智能系统的公平部署提供了关键理论基础。

相关研究论文

• DischargeSim: A Simulation Benchmark for Educational Doctor-Patient Communication at Discharge

  美国马萨诸塞大学安姆斯特分校计算机科学与信息学院 · 2025年