RFD4-Proteina

RFD4-Proteína training datasets 是面向 RFD4-Proteína 训练发布的分子结构数据集，由实验来源的 PDB 结构与预测来源的 AlphaFold DB 结构组成，用于生物分子设计相关模型训练。发布内容包括 AFDB 蛋白单体、PDB 分子界面、PDB 蛋白–DNA 界面、抗体界面和 TCR 界面，并保留原始结构分片、字节偏移、索引和采样表。该发布仅包含 PDB 派生和 AlphaFold DB 派生组件；完整训练混合中的蒸馏与合成集合、小分子、RNA、蛋白–配体集合以及由这些组件派生的内容均未包含在此发布中，因此数据集在此可用并不表示某个 checkpoint 使用了哪些组件。若目标是生成设计，README 建议从模型卡开始，且运行模型不需要该数据集。数据集通过 5 个命名配置提供元数据视图，覆盖 AFDB 单体和 PDB 快照两个 blob 目录：afdb_monomer 指向 train_datasets/streaming-latest/synthetic/afdb_genie3_subset/examples.parquet，内容为 AFDB 蛋白单体；pdb_interfaces 指向 train_datasets/streaming-latest/pdb/2026_10_04_tmol_plip_cath/sampling/interfaces.parquet，内容为 PDB 分子界面；antibody_interfaces_pdb 指向 train_datasets/streaming-latest/pdb/2026_10_04_tmol_plip_cath/sampling/immune_interfaces.parquet，内容为 PDB 抗体界面；pdb_dna_interface 指向 train_datasets/streaming-latest/pdb/pdb_dna_interface_2026_10_13/interfaces.parquet，内容为 PDB 蛋白–DNA 界面；tcr_interfaces_pdb 同样指向 immune_interfaces.parquet，内容为 PDB TCR 界面。总体载荷为 4,251 个对象、238.52 GB（222.15 GiB），分布于三个已发布组件目录；存储形式包括 Parquet 采样表与索引，以及二进制分片中的独立压缩记录。PDB 快照为 2026 年 10 月 4 日版本，并使用 CATH 和 PLIP 注释；源快照日期不是通用模型训练截止日期。组件规模与采样比例来自 dataset-inventory.json：afdb_monomer 发布 1,186,995 个样例，914,831 个通过记录过滤，建议占完整混合的 69%；pdb_interfaces 发布 13,938,465 个样例，8,431,727 个通过过滤，建议占比 14.5%；antibody_interfaces_pdb 发布 81,895 个样例，72,562 个通过过滤，建议占比 0.5%；tcr_interfaces_pdb 发布 9,526 个样例，8,608 个通过过滤，建议占比 0.5%；pdb_dna_interface 发布 12,812 个样例，通过过滤数未记录。占比保留自完整训练混合的源 manifest，未针对该子集重新归一化，因此合计小于 100%，原因是其他组件未发布；pdb_dna_interface 没有记录的占比。通过过滤指记录的审计过滤，不是独立重新验证的质量分数。这些是重叠采样视图，不是全局唯一结构计数。抗体和 TCR PDB 视图共享 immune_interfaces.parquet，并通过运行时过滤区分；通用 PDB 视图也共享它们的 blob 目录，pdb_dna_interface 从相同 PDB blob 读取结构。加载元数据时，README 给出 pip install datasets huggingface_hub，并用 load_dataset 以流式方式读取配置，例如 afdb_monomer。行中包含元数据而非已解码分子结构；load_dataset 不会应用 manifest 的运行时过滤、聚类权重或建议采样占比；train 标签描述暴露的采样表，不意味着已进行泄漏审计的 train/test 划分。结构下载与读取采用分离格式：component 目录下包含 examples.parquet 或 metadata.parquet 作为采样和质量元数据，以及 blob/index.parquet 记录 record ID 到 shard、offset、length 的映射，blob/data/*.bin 存放独立压缩记录。分片最大约 67 MB，因此无需下载整个组件即可读取单条记录。在安装 RFD4/AtomWorks 依赖的环境中，可用 pyarrow、huggingface_hub 和 atomworks.ml.utils.blob_store.BlobStore 读取一条索引结构；BlobStore 处理逐记录解压。该示例读取的是一个索引结构，不是训练采样器抽样；训练应使用组件的匹配采样表以及训练指南中的 loader/configuration。AtomWorks 的 indexed-blob loader 支持本地存储和 S3 范围读取；直接使用 Hugging Face 范围读取不是可替换的 loader 后端，应本地下载所选组件，并保持索引与分片来自同一 revision。过滤、溯源与可复现性方面，inventory 记录每个组件的采样表、blob 目录、过滤器、建议占比和对象大小；组件 README 与 provenance/ 文件夹提供额外处理细节。可复现训练运行需记录数据集 commit、模型/代码 revision、组件选择、运行时过滤、混合权重和采样器设置。文件名包含 latest 不能固定数据，Hub commit 才能固定；不要将同一 revision 的元数据与另一 revision 的分片混用。组件资格说明包括：PDB 界面的记录过滤包括 2024 年 1 月 1 日前沉积、分辨率低于 9 Å，以及 inventory 中的键、配体、界面和大小门限；继承的界面定义和几何相关标志未在新坐标上重新认证。PDB–DNA 界面于 2026-10-13 加入，表有 12,812 行，从既有 PDB blob 读取结构，并匹配 dna_binding_interfaces_20261013 采样文件。AFDB 单体为预测结构，过滤到最多 256 个标准氨基酸残基，不是实验测量。空值表示未知或未审计，而不是零；过滤前应阅读组件元数据以了解精确的原子/残基计数约定。预期用途与限制：该快照可用于训练、微调、数据检查和使用兼容分子 loader 的可复现性研究。预测结构不是实验测量；覆盖范围与错误继承上游实验和预测来源的偏差。大量行不意味着同等多样性或独立样本。构建评估前，应在序列、结构、复合物和源日期层面审计与目标的潜在重叠；Hub 元数据配置和建议混合不会自动执行该审计。仓库还托管代码库下载而非存储的文件：benchmarks/ae_pdb_temporal_holdout_2026_10_04/ 是自编码器验证集，含 640 个带注释 PDB 结构，蛋白–配体、修饰残基、聚糖、DNA 和 RNA 各 128 个，均于 2024-01-01 或之后沉积，以逐文件 Zstandard 压缩 mmCIF 存储并附选择 README；benchmarks/nanobody/ 含 160 个纳米抗体设计验证输入，由 40 个靶标结构与 4 个 VHH 框架（caplacizumab、ozoralizumab、vobarilizumab、h-NbBCII10）交叉组成；metrics/cdr_torsion_data/ 是 cdr_torsion_naturalness 抗体指标的参考数据，包含天然 CDR phi/psi 样本（VH/VL 和 VHH）及核密度参数，指标首次使用时下载；media/ 包含项目页和代码 README 使用的图像与视频，不是训练数据。代码仓库中的 make setup 会将两个 benchmark 目录下载到 data/benchmarks/，它们不属于上述 load_dataset 配置。来源条款与归属：结构保留上游条款。PDB 条目来自 wwPDB archive，数据在 CC0 1.0 豁免下可用；AlphaFold DB 结构来自 EMBL-EBI / Google DeepMind，在 CC BY 4.0 下可用，要求署名。CATH 域标签等派生注释为 CC BY 4.0，PLIP 相互作用注释来自各自来源，使用时需引用。为 RFD4-Proteína 添加的采样表、索引、注释和打包内容采用 CC BY 4.0 发布，所有上游来源均与 CC BY 4.0 署名兼容。模型采用 BSD-3-Clause，与这些数据分离，不适用于这些数据。复用前应同时署名上游来源与数据集，并检查组件 README。报告工作时，应在精确 commit 引用 RFD4-Proteína 数据集仓库，署名每个使用的上游来源，并描述任何过滤或重采样；inventory 和组件 README 描述各组件处理方式。