protenix_dataset

<p align="center"> <strong> <span style="font-size: 30px;">Protenix Dataset</span> </strong> </p> ## 数据集介绍 Protenix Dataset 是 `OneScience/Protenix` 模型使用的数据资源，包含 CCD、RDKit 缓存、mmCIF、bioassembly、MSA、索引、recentPDB 和 posebusters 相关文件。它可作为 Protenix 结构预测相关推理、训练、微调和评测的数据根目录。 为降低 ModelScope 小文件提交压力并避开单文件大小限制，`mmcif/` 以 `mmcif.tar.part50-*` 分卷 tar 包分发，`mmcif_bioassembly/` 以 `mmcif_bioassembly.tar` 分发，`mmcif_msa/` 以 `mmcif_msa.tar.part50-*` 分卷 tar 包分发。 ## 仓库说明 本数据集适配 `OneScience/Protenix`。推荐下载布局： ```text workspace/ ├── bio_protenix/ └── bio_protenix_dataset/ ``` 在模型包中运行时，默认 `DATA_ROOT_DIR=../bio_protenix_dataset`。若数据集放在其他目录，必须手动设置 `DATA_ROOT_DIR`。 ## 文件说明 | 文件或目录 | 格式 | 说明 | |---|---|---| | `components.v20240608.cif` | CIF | CCD 化学组分字典 | | `components.v20240608.cif.rdkit_mol.pkl` | Pickle | RDKit Mol 缓存 | | `seq_to_pdb_index.json` | JSON | 序列到 PDB/MSA 的索引 | | `indices/*.csv`, `indices/*.csv.gz` | CSV / GZIP CSV | 训练、评测和筛选索引 | | `mmcif.tar.part50-*` | split TAR | 串流解包后生成 `mmcif/` | | `mmcif_bioassembly.tar` | TAR | 解包后生成 `mmcif_bioassembly/` | | `mmcif_msa.tar.part50-*` | split TAR | 串流解包后生成 `mmcif_msa/` | | `recentPDB_bioassembly/` | 目录 | recentPDB 评测数据 | | `posebusters_mmcif/`, `posebusters_bioassembly/` | 目录 | posebusters 评测结构数据 | ## 使用说明 ### 文件与下载 ```bash modelscope download --dataset OneScience/Protenix --local_dir ./bio_protenix_dataset ``` 训练、微调或评测前，在数据集根目录解包结构与 MSA 数据包： ```bash cd ./bio_protenix_dataset cat mmcif.tar.part50-* | tar -xf - tar -xf mmcif_bioassembly.tar cat mmcif_msa.tar.part50-* | tar -xf - ``` ### 数据放置与验证 模型运行前设置： ```bash export DATA_ROOT_DIR=../bio_protenix_dataset ``` 在数据集包根目录执行验证： ```bash python scripts/validate_dataset.py --data-root . ``` 验证脚本会检查整理后文件与原始数据的文件名、大小和 SHA256 是否一致，并检查顶层目录、关键索引、CCD、JSON 和至少一个 MSA A3M 文件可读。 ## OneScience 官方信息 | 平台 | OneScience 主仓库 | Skills 仓库 | |---|---|---| | Gitee | https://gitee.com/onescience-ai/onescience | https://gitee.com/onescience-ai/oneskills | | GitHub | https://github.com/onescience-ai/OneScience | https://github.com/onescience-ai/oneskills | ## 限制与许可证 该数据集不是通用蛋白语言模型语料。完整数据集规模很大，对磁盘容量和小文件吞吐有较高要求。请遵守 wwPDB、CCD、recentPDB、posebusters、MSA 数据源和 Protenix 项目的许可证与引用要求。