masonhargrave/epicare

EpiCare数据集包含64个.hdf5文件，遵循D4RL格式标准，用于测试离线强化学习（RL）和离策略评估（OPE）方法。数据集分为训练和测试文件，针对两种行为策略（SMART和SoC）在EpiCare环境中生成。EpiCare环境模拟了在纵向医疗环境中应用RL的挑战。SMART策略模拟临床试验中的治疗选择，而SoC策略模拟遵循最佳实践的保守治疗选择。每个.hdf5文件包含131,072个数据片段，每个片段最多包含8个时间步。数据集可用于测试和基准化离线RL和OPE方法，并与现有RL框架和库兼容。

原始信息汇总

EpiCare Dataset 概述

概览

本仓库包含一个遵循 D4RL 格式标准的 64 个 .hdf5 文件的数据集，专为测试离线强化学习（RL）和离策略评估（OPE）方法而设计。数据集分为训练和测试文件，针对 EpiCare 环境中的两种行为策略（SMART 和 SoC）。

EpiCare 环境是一个基准，旨在模拟将 RL 应用于纵向医疗保健环境中的挑战。该数据集对于评估 RL 模型在这些复杂场景中的性能非常有用。

目录结构

数据集的目录结构如下：

smart/ ├── test_seed_1.hdf5 ├── test_seed_2.hdf5 ├── test_seed_3.hdf5 ├── test_seed_4.hdf5 ├── test_seed_5.hdf5 ├── test_seed_6.hdf5 ├── test_seed_7.hdf5 ├── test_seed_8.hdf5 ├── train_seed_1.hdf5 ├── train_seed_2.hdf5 ├── train_seed_3.hdf5 ├── train_seed_4.hdf5 ├── train_seed_5.hdf5 ├── train_seed_6.hdf5 ├── train_seed_7.hdf5 ├── train_seed_8.hdf5 soc/ ├── test_seed_1.hdf5 ├── test_seed_2.hdf5 ├── test_seed_3.hdf5 ├── test_seed_4.hdf5 ├── test_seed_5.hdf5 ├── test_seed_6.hdf5 ├── test_seed_7.hdf5 ├── test_seed_8.hdf5 ├── train_seed_1.hdf5 ├── train_seed_2.hdf5 ├── train_seed_3.hdf5 ├── train_seed_4.hdf5 ├── train_seed_5.hdf5 ├── train_seed_6.hdf5 ├── train_seed_7.hdf5 ├── train_seed_8.hdf5

行为策略

SMART 策略

顺序多重分配随机试验（SMART）策略模拟了模拟临床试验的治疗选择。该策略遵循加权随机选择过程，其中每个治疗的选择概率基于其预期奖励。SMART 策略广泛用于临床试验，以平衡探索和利用，为训练 RL 模型提供合成临床试验数据。

SoC 策略

标准护理（SoC）策略旨在模拟没有访问潜在疾病状态的假设临床医生的表现。该策略模拟了保守的治疗选择方法，避免采取会加剧任何当前症状超过安全阈值的行动。SoC 策略作为基线，用于比较 RL 算法的性能和安全性。

种子和环境生成

每个文件名中的 seed 数字指的是用于生成 EpiCare 环境的随机种子。每个种子创建一个不同的 EpiCare 环境，可以被视为代表一个完全不同的疾病群体。这种多样性允许研究人员评估其模型在不同模拟患者群体中的泛化能力。

数据集详情

每个 .hdf5 文件包含 131,072 个数据集，有效代表了许多患者。每个数据集由最多 8 个时间步组成。

使用

该数据集可用于测试和基准离线 RL 和 OPE 方法。.hdf5 文件与 D4RL 格式兼容，便于与现有的 RL 框架和库集成。研究人员可以使用此数据集训练和评估其模型，确保结果的可重复性和可比性。

联系

如有问题或支持，请联系：

• Mason Hargrave ([e-mail])
• Alex Spaeth ([e-mail])
• Logan Grosenick ([e-mail])