PDB-Struct

PDB-Struct是一个全面的基于结构的蛋白质设计基准数据集，由Mila - 魁北克人工智能研究所创建。该数据集包含18,024条高质量的CATH蛋白质数据，用于评估和比较不同的蛋白质设计方法。数据集通过精心策划，包括高吞吐量的从头设计蛋白质和大规模实验突变实验数据，旨在通过引入两种新指标——基于重折叠的指标和基于稳定性的指标，来解决现有评估方法的不足。PDB-Struct不仅评估了最新的蛋白质设计模型，还对之前未比较的方法进行了评估，为未来公平和全面的蛋白质设计方法评估铺平了道路。

PDB-Struct is a comprehensive structure-based protein design benchmark dataset created by Mila – Quebec Artificial Intelligence Institute. This dataset contains 18,024 high-quality CATH protein entries, which are used to evaluate and compare different protein design methodologies. Curated meticulously, the dataset includes high-throughput de novo designed proteins and large-scale experimental mutagenesis data, aiming to address the limitations of existing evaluation approaches by introducing two novel metrics: a refolding-based metric and a stability-based metric. PDB-Struct not only evaluates state-of-the-art protein design models but also assesses previously uncompared methods, paving the way for fair and comprehensive evaluations of protein design methodologies in the future.

搜集汇总

数据集介绍

构建方式

PDB-Struct数据集的构建基于三类高质量蛋白质数据源：CATH4.2非冗余蛋白质数据集、高通量从头设计蛋白质数据以及大规模实验诱变数据。从CATH4.2数据集中，研究团队按照CATH拓扑结构进行划分，得到训练集、验证集和测试集，并进一步从测试集中精选出82个高质量样本，排除了无序区域过多的蛋白质。对于从头设计数据，通过结构模板聚类，选取每个簇的质心作为代表结构。诱变数据则来自Rocklin等人和Tsuboyama等人的实验，经过滤去除插入和缺失突变，最终包含527K条带有稳定性评分的序列。

特点

该数据集的核心特点在于引入了两种新颖的评估指标：基于可再折叠性的指标和基于稳定性的指标。可再折叠性指标利用高精度蛋白质结构预测模型（如AlphaFold2、ESMFold和OmegaFold）对设计序列进行结构预测，通过TM-score和pLDDT评分评估序列的折叠能力与结构相似性。稳定性指标则通过计算设计模型对实验稳定序列的伪对数似然与稳定性评分之间的斯皮尔曼相关系数，衡量模型对蛋白质序列景观的估计准确性。这两个指标弥补了传统序列恢复率和困惑度指标的不足，提供了更贴近湿实验验证的评估方式。

使用方法

使用PDB-Struct数据集时，用户首先需将目标蛋白质结构输入待评估的蛋白质设计模型，生成候选序列。对于可再折叠性评估，利用AlphaFold2、ESMFold或OmegaFold对生成序列进行结构预测，计算预测结构与输入结构之间的TM-score及预测结构的pLDDT平均分。对于稳定性评估，则需计算设计模型在诱变数据集或从头设计数据集上对各序列的伪对数似然，并与实验稳定性评分进行斯皮尔曼相关性分析。所有模型的温度参数需统一设置为1.0，以确保可比性。相关代码已开源在GitHub仓库中。

背景与挑战

背景概述

蛋白质设计是生物工程领域的核心任务之一，尤其在新型抗体、酶及治疗性蛋白的开发中扮演关键角色。基于结构的蛋白质设计（structure-based protein design）凭借其对具有明确折叠构象的蛋白质的广泛适用性，已成为该领域的主流范式。近年来，深度学习的融入显著提升了此类方法的能力，催生了如ProteinMPNN、ESM-IF等高性能模型。然而，评估这些模型性能的标准化基准却长期缺位。为填补这一空白，来自Mila-魁北克人工智能研究所、蒙特利尔大学及英特尔并行计算实验室的研究团队于2023年提出了PDB-Struct基准。该基准通过引入基于可折叠性（refoldability）和稳定性（stability）的新型评估指标，并整合来自CATH数据库的高质量蛋白质结构数据、高通量从头设计蛋白及大规模诱变实验数据，系统性地评估了多种主流蛋白质设计方法，为该领域的公平比较与未来发展奠定了重要基础。

当前挑战

PDB-Struct基准所应对的核心挑战在于现有评估体系的局限性。一方面，湿实验验证虽准确但成本高昂、耗时长，难以支持算法快速迭代；另一方面，传统计算机模拟指标如序列恢复率（recovery）和困惑度（perplexity）虽高效，却无法真实反映蛋白质的可折叠性。例如，高序列相似性并不保证突变后的蛋白质能正确折叠，而困惑度因计算方式差异（如自回归模型与一次性预测模型的不同假设）导致模型间难以公平比较。此外，构建基准过程中亦面临挑战：需从海量数据中筛选高质量、低冗余的蛋白质结构集，并整合来自不同实验来源（如从头设计与诱变实验）的多序列稳定性数据，确保数据集的代表性与可靠性。这些挑战共同促使了可折叠性与稳定性导向的评估框架的诞生。

常用场景

经典使用场景

在基于结构的蛋白质设计领域，PDB-Struct 数据集被广泛用于评估和比较不同蛋白质设计方法的性能。其经典使用场景包括利用高精度结构预测模型（如AlphaFold2、ESMFold）对设计序列进行可折叠性评估，通过计算设计序列预测结构与输入模板之间的TM-score和pLDDT得分，量化序列的结构保真度和折叠稳定性。此外，该数据集还支持基于稳定性的评估，通过分析设计模型对实验稳定性不同的多序列分配似然的能力，使用Spearman相关系数衡量模型对蛋白质序列景观的估计准确性。

解决学术问题

PDB-Struct 数据集解决了传统基于恢复率和困惑度的评估指标无法真实反映蛋白质设计序列可折叠性的学术问题。传统指标仅关注序列与天然序列的相似性，忽略了单点突变即可导致蛋白质错误折叠的风险。该数据集引入了可折叠性指标，利用结构预测模型作为湿实验的替代，直接评估设计序列能否折叠成目标结构及其稳定性，从而弥补了计算模拟与实验验证之间的鸿沟。这一创新为蛋白质设计方法的公平比较提供了坚实基准，推动了该领域评估标准的规范化。

衍生相关工作

PDB-Struct 数据集衍生了一系列相关经典工作，包括对多种蛋白质设计方法的全面比较分析，如StructTrans、GVP、PiFold、ESM-IF等。基于该基准，研究者发现了恢复率与可折叠性之间的不一致性，进而推动了新方法的发展，例如结合结构预测的采样策略和扩散模型在序列设计中的应用。此外，该数据集启发了后续工作如ProteinInvBench，通过增加多样性指标进一步丰富了评估维度，并促进了跨模型（如编码器-解码器模型与基于结构预测的模型）的统一评价框架的建立。