thbndi/Mimic4Dataset

Mimic-IV数据集是通过执行https://github.com/healthylaife/MIMIC-IV-Data-Pipeline上的Pipeline生成的数据。

原始信息汇总

数据集概述

数据集名称

• 名称: Mimic-IV

数据集生成

• 生成方式: 通过执行位于 https://github.com/healthylaife/MIMIC-IV-Data-Pipeline 的Pipeline生成数据。

数据集使用函数

• 函数签名: python load_dataset(thbndi/Mimic4Dataset, task, mimic_path=mimic_data, config_path=config_file, encoding=encod, generate_cohort=gen_cohort, val_size=size, cache_dir=cache)

参数说明

1. task (string)

   • 描述: 指定使用数据集的任务。
   • 默认值: "Mortality"
   • 可能值: Phenotype, Length of Stay, Readmission, Mortality

2. mimic_path (string)

   • 描述: 用户机器上Mimic-IV原始数据的完整路径。
   • 注意: 需要提供Mimic-IV数据存储的适当路径，路径应以Mimic的版本结束（例如：mimiciv/2.2）。支持的版本：2.2和1.0。

3. config_path (string) 可选

   • 描述: 用于群体生成选择的配置文件路径（更多信息请参见/config/readme.md）。
   • 默认值: config文件夹中提供的配置文件。

4. encoding (string) 可选

   • 描述: 特征的数据编码选项。
   • 选项: "concat", "aggreg", "tensor", "raw", "text"
   • 默认值: "concat"
   • 注意: 选择以下选项之一进行数据编码：
     • "concat": 将独热编码的诊断、人口统计数据向量和动态特征在每个测量时间点连接，形成高维特征向量。
     • "aggreg": 将独热编码的诊断、人口统计数据向量和动态特征连接，其中每个item_id被替换为测量时间点的平均值，形成降维特征向量。
     • "tensor": 将每个特征表示为2D数组。标签、人口统计数据(DEMO)、诊断(COND)、药物(MEDS)、程序(PROC)、图表/实验室事件(CHART/LAB)和输出事件数据(OUT)分别有单独的数组。动态特征表示为2D数组，其中每行包含特定时间点的值。
     • "raw": 提供来自Pipeline的群体，无需任何编码，适用于自定义数据处理。
     • "text": 将诊断表示为适合BERT或其他类似文本模型的文本。

5. generate_cohort (bool) 可选

   • 描述: 确定是否从Mimic-IV数据生成新群体。
   • 默认值: True
   • 注意: 设置为True以生成群体，或设置为False以跳过群体生成。

6. val_size, test_size (float) 可选

   • 描述: 训练期间用于验证的数据集比例。
   • 默认值: 验证大小为0.1，测试大小为0.2。
   • 注意: 可以设置为0。

7. cache_dir (string) 可选

   • 描述: 处理后的数据集将被缓存的目录。
   • 注意: 为每种编码类型提供缓存目录可以避免更改编码类型时的错误。

示例使用

• 示例1: 使用默认设置加载数据集。
• 示例2: 使用自定义设置加载数据集。

搜集汇总

数据集介绍

构建方式

Mimic4Dataset基于MIMIC-IV原始数据构建，通过一套可复现的数据处理管道生成。该管道从用户本地存储的MIMIC-IV原始数据中提取信息，支持版本2.2与1.0。数据集构建过程中，用户可指定任务类型（如死亡率预测、表型分类、住院时长预测、再入院预测），并灵活配置队列生成参数。系统首先根据临床标准筛选患者队列，随后将原始电子健康记录数据转化为结构化特征，最终以标准化格式缓存至指定目录，确保数据处理的透明性与可重复性。

特点

该数据集的核心特点在于其多样化的特征编码策略与任务导向的灵活性。支持五种编码方式：'concat'生成高维拼接向量，'aggreg'通过时间平均降低维度，'tensor'保留多模态二维结构，'raw'提供原始队列数据，'text'则将诊断信息转化为适合BERT等文本模型的自然语言表示。每个任务均配备独立的特征字典，便于用户理解特征构成。此外，数据集整合了诊断、药物、检验、手术等多元临床信息，为电子健康记录的多任务学习提供了统一基准。

使用方法

数据集通过Hugging Face的datasets库加载，核心接口为load_dataset函数。用户需指定任务类型与MIMIC-IV原始数据路径，可选参数包括配置文件路径、编码方式、队列生成标志及验证集比例。例如，加载死亡率预测任务时，设置task='Mortality'并传入mimic_path；若需使用聚合编码，则添加encoding='aggreg'。数据集支持动态划分训练、验证与测试集，并可通过cache_dir缓存处理结果以避免重复计算。典型应用场景包括基于表格数据的临床预测模型训练，以及将电子健康记录转换为文本后微调语言模型。

背景与挑战

背景概述

Mimic4Dataset是由Jesus Lovon-Melgarejo、Thouria Ben-Haddi等人于2024年创建的医学数据集，依托于MIMIC-IV重症监护数据库，旨在为电子健康记录（EHR）提供标准化的文本化评估基准。该数据集由IRIT研究所与Hugging Face社区合作开发，核心研究问题在于探索如何将结构化EHR表格数据高效转换为文本表示，以适配自然语言模型（如BERT、LLMs）在医疗下游任务中的应用，涵盖死亡率预测、表型分类、住院时长估计及再入院风险评估。其发布填补了医学领域缺乏统一文本输入基准的空白，推动了语言模型在临床决策支持中的可复现研究，对医疗人工智能标准化评估具有里程碑意义。

当前挑战

该数据集面临的核心挑战源于医疗数据的异构性与模型适配鸿沟。首先，EHR数据包含诊断、用药、实验室检查等多模态特征，其时间序列的非对齐性与高维稀疏性导致传统表格模型难以捕捉临床时序依赖，而文本化转换（如concat、aggreg编码）可能丢失关键动态信息。其次，构建过程中需解决原始MIMIC-IV数据的隐私合规与版本兼容问题（如v2.2与v1.0的差异），同时配置队列生成参数（如时间窗口、事件筛选）的微小变动会显著影响模型评估的一致性。此外，零样本大语言模型在缺乏领域微调时，难以从文本化EHR中提取有临床意义的表征，暴露出通用LLM对医学领域知识的理解局限性，需探索更优的提示工程与预训练策略。

常用场景

经典使用场景

Mimic4Dataset作为重症监护领域极具代表性的电子健康记录（EHR）基准数据集，其经典使用场景聚焦于四大核心临床预测任务：院内死亡率预测、患者表型分类、住院时长估算以及再入院风险评估。通过调用预设的编码模式（如concat、aggreg、tensor或text），研究者能够灵活地将原始结构化EHR数据转化为适配不同模型架构的输入形式，从而在统一的评测框架下系统性地比较传统机器学习方法与前沿深度学习模型的性能差异。该数据集尤其为自然语言处理技术在医疗领域的落地提供了标准化试验场，推动了从表格数据到文本表示的关键技术跨越。

实际应用

在实际临床场景中，Mimic4Dataset所支撑的预测模型可嵌入医院信息系统，辅助医护人员在患者入院早期进行风险分层与资源调配。例如，基于该数据集训练的死亡率预测模型能够实时分析患者生命体征、实验室检查及用药记录等时序数据，为ICU病房提供预警信号；表型分类功能则有助于自动识别具有相似病理生理特征的患者亚群，支持精准治疗方案制定。此外，住院时长与再入院风险的预测结果可直接用于优化床位周转策略与出院计划，降低医疗成本并改善患者预后。这些应用充分体现了数据驱动方法在提升临床决策效率与质量方面的实际价值。

衍生相关工作

围绕Mimic4Dataset已衍生出一系列具有影响力的学术工作，其中最经典的当属Lovon-Melgarejo等人于LREC-COLING 2024发表的基准研究，该工作首次将MIMIC-IV数据集成至Hugging Face生态，并系统探索了模板化表格转文本策略在死亡率预测任务中的效果。后续研究者在此基础上进一步扩展了多任务学习框架，将表型分类、住院时长预测等任务纳入统一的文本生成范式；另有工作引入对比学习与领域自适应技术，提升了零样本大语言模型在医疗文本上的表征能力。该数据集还催生了针对不同编码策略（如tensor与text）的消融研究，深入剖析了结构化特征与语义特征在临床预测中的互补机制，为构建更鲁棒的医疗AI系统奠定了方法论基础。