MPNN operator benchmark

本项目存放消息传递算子比较实验使用的分子性质预测数据,包括原始 CSV、预处理缓存,以及按随机种子生成的训练/验证/测试划分。

目录结构

`data_original/`:原始数据文件,按数据集存储为 CSV。

`data_cache/`:按数据集保存的预处理缓存文件,文件名形式为 `*_cache.pkl`

`split_all_datasets`:按数据集和 seed 保存的实验划分结果。

`check_data.py`:用于检查 train/val/test 三部分之间是否存在样本重叠。

`gen_3seed.sh`:用于生成多 seed 数据划分的脚本。

## 原始数据 `data_original/`

当前包含以下数据集:

- `bace.csv`:1513 条,列为 `mol`, `Class`

- `bbbp.csv`:2039 条,列为 `smiles`, `p_np`

- `clintox.csv`:1478 条,列为 `smiles`, `FDA_APPROVED`, `CT_TOX`

- `esol.csv`:1128 条,列为 `smiles`, `logSolubility`

- `freesolv.csv`:642 条,列为 `smiles`, `freesolv`

- `hiv.csv`:41127 条,列为 `smiles`, `HIV_active`

- `lipo.csv`:4200 条,列为 `smiles`, `lipo`

- `qm7.csv`:6830 条,列为 `smiles`, `u0_atom`

- `qm8.csv`:21786 条,多任务回归数据

- `qm9.csv`:133885 条,多任务回归数据

- `tox21.csv`:7831 条,多任务分类数据

说明:

- 大多数数据集第一列为 `smiles`。

- `bace.csv` 例外,分子列名为 `mol`。

- 数据任务覆盖单任务分类、多任务分类、单任务回归和多任务回归。

缓存数据 `data_cache/`

`data_cache/` 下保存了部分数据集的预处理缓存,例如:

- `bace_cache.pkl`

- `bbbp_cache.pkl`

- `clintox_cache.pkl`

- `esol_cache.pkl`

- `freesolv_cache.pkl`

- `hiv_cache.pkl`

- `lipo_cache.pkl`

- `qm7_cache.pkl`

- `qm8_cache.pkl`

- `tox21_cache.pkl`

说明:

- 这些缓存文件用于加速后续图构建、特征读取或训练前的数据准备。

数据划分 `split_all_datasets/`

`split_all_datasets/` 按 `dataset/seed_x/` 组织。每个 seed 目录通常包含:

- `train.csv`

- `val.csv`

- `test.csv`

部分目录还包含:

- `hyper_train_data.csv`:用于超参数搜索或额外训练的数据子集

当前已生成划分的数据集

具有 `seed_0`、`seed_1`、`seed_2` 三套划分:

- `bace`

- `bbbp`

- `clintox`

- `esol`

- `freesolv`

- `hiv`

- `lipo`

- `qm7`

- `qm8`

- `tox21`

划分方式

根据 `gen_3seed.sh`,数据划分使用 Chemprop 的:

- `split_type='scaffold_balanced'`

- `sizes=(0.8, 0.1, 0.1)`

这表示数据按分子骨架进行平衡划分,训练集、验证集、测试集比例约为 8:1:1。

数据一致性检查

`check_data.py` 会逐个检查数据集和 seed,确认:

- `train` 与 `val` 无重叠

- `train` 与 `test` 无重叠

- `val` 与 `test` 无重叠

检查依据是分子字符串列的集合是否相交。