TopU-LBVS

Name: TopU-LBVS
Creator: 德克萨斯大学达拉斯分校; 北京生命科学研究所
Published: 2026-09-24T08:00:00+08:00

arXiv2026-09-24 更新2026-09-28 收录

虚拟筛选配体

分子表示学习基准

数据链接：

https://huggingface.co/datasets/topu-benchmark/topu-lbvs 数据链接链接失效反馈

官方服务：

资源简介：

TopU-LBVS是一个面向配体虚拟筛选的多靶标基准数据集，由德克萨斯大学达拉斯分校和北京生命科学研究所联合创建。该数据集基于ChEMBL 35清洗后的生物活性数据，涵盖7个蛋白质类别的93个靶标，每个靶标构建了活性化合物与属性匹配、结构相似难负样本的筛选库，固定比例为1:40，库规模从约400到10,000个化合物不等。数据集创建过程包括严格的数据清洗、动态优化筛选诱饵，并通过随机森林审计确保硬度。TopU-LBVS旨在提供一个真实且具有挑战性的评估基准，用于测试和比较基于配体虚拟筛选及分子表示学习方法在难负样本条件下的泛化能力。

TopU-LBVS is a multi-target benchmark dataset for ligand-based virtual screening, jointly developed by the University of Texas at Dallas and the National Institute of Biological Sciences, Beijing. This dataset is constructed from curated bioactivity data of ChEMBL 35, covering 93 targets across 7 protein categories. For each target, a screening library with a fixed positive-to-negative ratio of 1:40 was built, which contains active compounds and property-matched, structure-similar hard negative samples, with library sizes ranging from approximately 400 to 10,000 compounds. The dataset creation pipeline includes rigorous data curation, dynamic optimization of screening decoys, and hardness validation via random forest auditing. TopU-LBVS aims to provide a realistic and challenging evaluation benchmark for testing and comparing the generalization capabilities of ligand-based virtual screening and molecular representation learning methods under hard negative sample conditions.

提供机构：

德克萨斯大学达拉斯分校; 北京生命科学研究所

创建时间：

2026-09-24

原始信息汇总

TopU-LBVS 数据集概述

基本信息

数据集名称：TopU-LBVS: Multi-Target Benchmark for Ligand-Based Virtual Screening
许可证：CC-BY-SA-4.0
语言：英语（非自然语言，为化学SMILES表示）
数据规模：100K < n < 1M
任务类别：表格分类（tabular-classification）
标签：chemistry、drug-discovery、virtual-screening、ligand-based、molecular-property-prediction、benchmark、chembl、hard-negatives、bioactivity、enrichment-factor

数据集描述

TopU-LBVS 是一个用于基于配体的虚拟筛选（LBVS）的多靶点基准数据集，覆盖来自 ChEMBL 35 的 93 个蛋白质靶点，横跨 7 个蛋白质类别（细胞色素 P450 酶、GPCR、离子通道、激酶、核受体、蛋白酶及其他酶）。

每个靶点构建了一个 TopU 库，包含性质匹配、结构相似的高难度诱饵分子，活性物与诱饵的固定比例为 1:40。诱饵通过约束遗传算法筛选，使简单的理化过滤器和最近邻指纹检索无法将其与活性物区分。

评估协议

协议	用途	靶点数
`topu-lbvs-full`	在历史 ChEMBL* SAR 上训练，在 TopU 难库上评估	93
`topu-lbvs-few-tier1`	少样本 TopU → TopU（Tier 1：<50 TopU 活性物，6:2:2 划分）	46
`topu-lbvs-few-tier2`	少样本 TopU → TopU（Tier 2：≥50 TopU 活性物，7:1:2 划分）	47
`topu-lbvs-mini`	7 靶点紧凑协议，配随机诱饵对照	7

所有 93 个靶点的规范列表（含 PDB / UniProt / ChEMBL 标识符、蛋白质类别及每个靶点的化合物计数）见仓库根目录的 targets_master.csv。

支持的任务与排行榜

表格分类：对固定蛋白质靶点的化合物进行逐靶点二元分类（活性/非活性）。标准形式使用 2048 位 Morgan（ECFP4）指纹作为输入特征，二元活性标签作为目标。
图机器学习（graph-ml）：同一任务以分子图性质预测形式呈现。每个化合物表示为原子-键图（9 维节点特征、3 维边特征）；GIN、GAT、GPS、D-MPNN 等模型通过 SMILES 直接使用该表示。
少样本分子性质预测：topu-lbvs-few-tier1 和 topu-lbvs-few-tier2 配置支持情景学习、元学习及其他数据高效方法的评估，最小 Tier 1 靶点的训练池中仅有 6 个活性物。

主要排行榜指标：

协议	主要指标	验证指标
`topu-lbvs-full`、`topu-lbvs-mini`	EF@1%	PR-AUC
`topu-lbvs-few-tier1`、`topu-lbvs-few-tier2`	EF@10%	PR-AUC

次要指标（EF@5%、ROC-AUC、BEDROC at α=20、LogAUC）报告于论文附录。

数据集结构

数据实例

每个蛋白质靶点有其独立子目录，包含指纹 NPZ 文件、含 SMILES 和元数据的 CSV 配套文件，以及（针对 Setting 1）按种子划分的训练/验证索引。

数据字段

每个 *_ecfp4.npz 文件包含四个数组：

键	形状	数据类型	描述
`X`	(n, 2048)	uint8	Morgan 指纹（半径 2，2048 位，RDKit）
`y`	(n,)	int	二元活性标签（1=活性，0=非活性）
`smiles`	(n,)	object	规范 SMILES（RDKit，isomericSmiles=False）
`ids`	(n,)	object	ChEMBL 化合物 ID（如 `CHEMBL35820`）

配套 *.csv 文件以纯表格形式包含相同化合物，便于查看。

对于 Setting 1，每个靶点的 splits/seed_{2026,2027,2028}/ 目录包含：

文件	描述
`train_idx.npy`	指向 `_final_ecfp4.npz` 的训练折 int64 索引
`val_idx.npy`	验证折的 int64 索引（15% 分层）
`split_info.json`	元数据：种子、比例、增强来源

数据划分

Setting 1 — topu-lbvs-full：每个靶点的 ChEMBL* 训练池按 85% / 15%（分层随机，种子 2026/2027/2028）划分，固定 1:10 活性物与诱饵比例。完整 TopU 库作为测试集，1:40 活性物与诱饵比例。非活性物过少的靶点，其负样本池用同类别非活性物增强（选择已发布）。

Setting 2 — topu-lbvs-few-tier1 与 topu-lbvs-few-tier2：划分取自各靶点的 TopU 库，固定 1:40 活性物与诱饵比例。Tier 1（<50 TopU 活性物）使用 6:2:2 活性物划分；Tier 2（≥50 活性物）使用 7:1:2。活性化合物按 Bemis–Murcko 骨架划分；非活性物随机分配以保持每折 1:40 比例。

Setting 3（mini）— topu-lbvs-mini：对 7 个 mini 靶点中的每一个，提供 s1/（TopU 难诱饵测试）和 s3/（随机 ChEMBL* 诱饵测试）两个子文件夹。两个测试集共享相同的训练池、相同的测试活性物数量及相同的 1:40 比例——仅在测试诱饵构建上不同。两者的 EF@1% 差距因而仅衡量诱饵难度的影响。

数据集创建

策展理由

标准 LBVS 基准（DUD-E、MUV、DEKOIS、LIT-PCBA）存在已记录在案的局限：随机或易分离的诱饵、靶点覆盖有限、无固定学习协议，以及活性物/诱饵对可通过分子量或 LogP 等简单理化描述符区分。在这些基准上表现良好的模型，在现实的前瞻性筛选条件下可能大幅失效。

TopU-LBVS 通过联合提供以下内容来暴露这一差距：

难诱饵 — 与活性物性质匹配、结构相似，针对随机森林验证器优化（理化 + Morgan 特征的交叉验证 AUROC < 0.6）。
真实的 1:40 不平衡，而非人工平衡。
横跨 7 个类别的 93 个靶点，而非单一家族。
固定的划分与种子，用于可复现的基于学习的评估。
配对的随机诱饵对照，隔离随机诱饵评估高估性能的程度——在基线中，当随机诱饵被替换为 TopU 难诱饵时，平均 EF@1% 下降近 4 倍。

源数据

初始数据收集与规范化

所有生物活性数据来自 ChEMBL 35（2024 年 8 月发布），具体为按靶点的 activities 表，过滤至四种经典效力端点 IC50、Ki、Kd 和 EC50。靶点归属模糊或测定注释不一致的记录被丢弃。

分子通过 RDKit 标准化：规范 SMILES、盐和溶剂片段去除、电荷归一化。未通过 RDKit 消毒的化合物被丢弃。

源语言生产者

生物活性测量由全球药物化学研究社区产生，由欧洲生物信息研究所（EMBL-EBI）的 ChEMBL 团队汇总。数据集继承所有上游来源。

注释

注释过程

对每个靶点，连续活性测量在 pChEMBL > 4.9 → 活性 处二值化，否则为非活性。4.9 阈值经经验选择，以在保持测定可靠性的同时最大化每靶点覆盖。标签冲突的化合物（如在一种测定中活性、在另一种中非活性）解析为活性，以避免惩罚后来发现的真正例。

注释者

TopU-LBVS 没有专门的人类注释者。所有标签通过上述阈值规则从 ChEMBL 生物活性记录程序化导出。TopU 难诱饵选择本身通过约束遗传算法完全自动化（见论文附录 A.2）。

个人与敏感信息

无。数据集由小分子化学结构（SMILES）、ChEMBL 标识符和针对蛋白质靶点的二元活性标签组成。无人类受试者数据、无个人可识别信息、无患者记录。

使用数据的注意事项

数据集的社会影响

TopU-LBVS 旨在提高计算药物发现研究的严谨性与可复现性。通过暴露随机诱饵与难负样本筛选性能之间的差距，该基准可能有助于减少对分子机器学习模型的过度乐观声明，并鼓励在现实早期发现条件下有效的方法。改进的虚拟筛选可降低为未满足医疗需求的疾病识别先导化合物的时间和成本。

两用风险说明：改进的虚拟筛选方法原则上可能被滥用以优先考虑有害生物活性化合物。然而，TopU-LBVS 仅为回顾性评估资源——它不提供生成设计能力、不提供合成路线、不提供前瞻性实验验证，也不提供化合物购买途径。发布聚焦于透明评估，而非分子生成或部署。

偏差讨论

靶点类别不平衡。 93 个靶点并非类别平衡。激酶、GPCR 及其他酶贡献最多任务；离子通道、蛋白酶和核受体较少。这反映 ChEMBL 中公共生物活性覆盖的结构，而非刻意的采样选择。类别平均指标（论文中报告）部分补偿。
化学空间偏差。 ChEMBL 偏向药物化学文献中已探索的化学型。来自代表性不足化学空间（共价抑制剂、大环、PROTAC、PPI 调节剂）的化合物稀少。
阈值二值化噪声。 固定 pChEMBL > 4.9 截止不捕捉实验不确定性、测定背景或分级效力。pChEMBL = 4.95 的化合物与 9.0 的化合物被标记相同。
非活性标签有噪声。 ChEMBL 中的非活性物常为"在此测定中测试且无活性"，而非在所有条件下确认非活性，因此部分诱饵可能被错误标记为活性物。TopU 难诱饵选择过程通过从策展的非活性池中选择诱饵部分缓解，但无法完全消除噪声。

其他已知局限

回顾性且基于 2D 配体。 无 3D 蛋白质结构信息、对接分数、构象集合或前瞻性实验验证。基准不评估基于结构的筛选或配体-蛋白质混合方法。
设计上具对抗性。 TopU 诱饵强调与活性物的最坏情况结构相似性，因此绝对 EF 值系统性低于标准基准。这是刻意的并暴露失败模式——但相对使用多样库的早期探索筛选，可能高估难度。
仅 ChEMBL。 结论可能无法直接推广到代表性不足的靶点家族、专有化学空间或非 ChEMBL 数据源。
Tier 1 方差。 活性物少于 50 的少样本任务具有高每靶点指标方差。对这些任务，类别级和总体平均值比单个靶点 EF 估计更可靠。

完整讨论见论文附录 F。

附加信息

数据集策展人

Surbhi Kumar — UT Dallas，数学科学（共同第一作者）
Yuhe Zhou — 北京生命科学研究所（共同第一作者）
Varun Shiralkar — UT Dallas，计算机科学
Niu Huang — 北京生命科学研究所（共同资深作者）
Baris Coskunuzer — UT Dallas，数学科学（共同资深作者）

许可信息

TopU-LBVS 数据集在 CC-BY-SA-4.0 下发布。配套代码（https://github.com/topu-benchmark/topu-lbvs）在 MIT 许可证下发布。

ChEMBL 在 CC-BY-SA-3.0 下发布。策展的 TopU-LBVS 数据继承兼容的 CC-BY-SA-4.0 许可证。重新分发数据或衍生作品的用户必须保留 CC-BY-SA 条款，并向 ChEMBL 和本数据集提供署名。

引用信息

如在工作中使用 TopU-LBVS，请同时引用本基准和 ChEMBL：

bibtex @unpublished{topu_lbvs_2026, title = {TopU-LBVS: A Realistic Multi-Target Benchmark for Ligand-Based Virtual Screening}, author = {Kumar, Surbhi and Zhou, Yuhe and Shiralkar, Varun and Huang, Niu and Coskunuzer, Baris}, year = {2026}, note = {Under review at NeurIPS 2026 Datasets and Benchmarks Track} }

@article{zdrazil2024chembl, title = {The ChEMBL Database in 2023: a drug discovery platform spanning multiple bioactivity data types and time periods}, author = {Zdrazil, Barbara and others}, journal = {Nucleic Acids Research}, year = {2024} }

贡献

感谢 EMBL-EBI 的 ChEMBL 团队维护底层生物活性数据库，以及本基准所依托的更广泛药物化学与化学信息学社区的数据。感谢 RDKit、PyTorch Geometric、Chemprop 和 MolFormer 的作者提供参考基线中使用的开源工具。

如遇问题、疑问和讨论，请使用 GitHub 议题跟踪器（https://github.com/topu-benchmark/topu-lbvs/issues）。

相关链接

论文：TopU-LBVS: A Realistic Multi-Target Benchmark for Ligand-Based Virtual Screening（Kumar, Zhou, Shiralkar, Huang, Coskunuzer）
代码：https://github.com/topu-benchmark/topu-lbvs
数据集页面：https://huggingface.co/datasets/topu-benchmark/topu-lbvs

搜集汇总

数据集介绍

构建方式

在配体基虚拟筛选（LBVS）评估中，随机负样本与易诱饵常导致性能虚高。TopU-LBVS 立足于经严格净化的 ChEMBL 35 资源 ChEMBL∗，覆盖 7 大蛋白家族的 93 个靶标；针对每一靶标，以动态遗传算法从非活性池中筛选与活性分子在六项理化描述符及 MFP3 指纹上分布高度重叠的硬负样本，并以随机森林作为构建后难度审计，确保交叉验证 AUROC 低于 0.6，最终按固定 1:40 活性—诱饵比搭建靶标特异性筛选库。

特点

该基准以硬负筛选为核心特征，提供 93 靶标、7 蛋白类别的多靶评估体系，库规模从数百至逾万分子不等。其负样本经过性质匹配与结构相似性优化，可有效削弱基于简单理化性质或最近邻指纹的捷径。TopU-LBVS 还包含三个固定协议：full 评测 ChEMBL∗→TopU 泛化，low 评测低数据 TopU→TopU 学习，mini 提供七靶低成本入口，并以配对随机诱饵对照直接量化随机负评估与硬负评估之间的富集差距。

使用方法

使用时，研究者可在三个协议下直接采用已发布的固定数据划分、随机种子与评估代码。full 协议以 EF@1% 为主指标，评测模型从历史 SAR 数据向硬负库的泛化；low 协议以 EF@10% 为主指标，考察有限标注下的 TopU 内学习；mini 协议则用于快速开发与调试，通过替换测试诱饵为随机 ChEMBL∗ 诱饵，保持训练、验证、测试活性及比例不变，仅改变测试负样本以测量难度差距。所有基线实现与排名评估脚本均开放，便于在统一条件下复现与比较。

背景与挑战

背景概述

配体基虚拟筛选（LBVS）作为早期药物发现中实用的初筛工具，长期依赖历史构效关系数据对候选化合物进行排序。然而，既有基准常因随机阴性样本、易区分诱饵、靶点覆盖不均及缺乏固定评估协议而高估模型性能，导致对方法真实泛化能力的判断失准。为回应这一困境，研究人员构建了TopU-LBVS多靶点基准。该基准源于ChEMBL 35，经严格清洗形成ChEMBL*资源，覆盖7大蛋白类别的93个靶点，并针对每个靶点构建硬阴性筛选库，采用性质匹配且结构相似的诱饵，固定活性化合物与诱饵比例为1:40，旨在揭示随机阴性评估下被掩盖的方法缺陷，对分子表征学习与虚拟筛选领域具有重要的评测导向意义。

当前挑战

TopU-LBVS所应对的核心挑战在于：传统LBVS基准中随机阴性样本使模型易于依赖简单的理化性质或最近邻指纹捷径，从而在硬阴性条件下性能急剧下降；同时，构建过程中须确保诱饵与活性分子在理化性质和结构相似性上高度匹配，避免引入可分性偏差，并需在93个靶点上一致实现这一严苛标准。此外，低数据场景下训练样本稀缺，模型难以在硬阴性分布中有效学习，现有方法在随机诱饵与硬阴性诱饵评估间存在近四倍的性能落差，凸显了该领域在真实筛选条件下泛化能力的根本性不足。

常用场景

经典使用场景

在配体基虚拟筛选（LBVS）的早期药物发现流程中，TopU-LBVS 以其精心构建的困难负样本库成为评估模型筛选能力的经典基准。该数据集覆盖93个蛋白靶点、7大蛋白家族，并以1:40的活性-诱饵比例构建了性质匹配且结构相似的诱饵分子，迫使模型在极具挑战的化学空间中区分活性化合物。研究者常将其用于检验指纹方法、图神经网络及预训练分子模型在困难负样本条件下的富集能力，从而推动更鲁棒的分子表征学习研究。

衍生相关工作

TopU-LBVS 的发布激发了后续一系列针对困难负样本筛选与分子表征学习的研究。基于其固定划分与评估代码，研究者开发了多种融合指纹与图神经网络的混合模型，并探索了预训练分子模型在低数据场景下的微调策略。该基准还催生了关于负样本构造方法学的讨论，例如更严格的诱饵生成算法与多目标评估框架。同时，其配对随机诱饵对照设计被多个后续基准采纳，用于量化评估偏差，推动了虚拟筛选领域向更严谨、可复现的方向发展。

数据集最近研究