ESMAtlas
收藏资源简介：
ESMAtlas是ESM宏基因组图谱在Hugging Face上的镜像数据集，是一个大规模资源，包含使用Meta AI的ESMFold蛋白质语言模型预测的宏基因组蛋白质结构。数据来源于MGnify的蛋白质序列（v2023_02版本对应MGnify 2023_02版本），通过esm.pretrained.esmfold_v1()模型预测。上游图谱包含超过7亿个预测结构，本版本元数据表记录了773,846,840条蛋白质条目（序列长度超过1280残基的蛋白质未被折叠）。数据集以WebDataset格式存储，预测的蛋白质结构以gzip压缩的PDB文件形式打包在多个tar分片中，这些分片根据预测的TM分数（ptm）和平均预测LDDT（plddt）置信度分数分组，便于选择性下载高置信度区域。还包括独立元数据文件，用于筛选和查询，包含置信度分数、序列长度、片段标记、序列校验和、ESMFold模型版本、图谱版本及源序列数据库成员信息等。该数据集适用于大规模蛋白质结构检索、基于结构的搜索、构建置信度过滤子集、蛋白质表示学习，以及研究宏基因组蛋白质的结构多样性。注意：所有结构均为计算预测结果，非实验解析，使用时应参考置信度分数，通常plddt > 0.7且ptm > 0.7可视为高置信度子集。数据来源于宏基因组序列，可能包含片段或注释有限的蛋白质，预测坐标不应视为绝对真实值，需在特定任务中验证。数据集采用Creative Commons Attribution 4.0 International (CC BY 4.0)许可。
ESMAtlas is a mirror dataset of the ESM Metagenomic Atlas hosted on Hugging Face. The atlas is a large-scale resource containing metagenomic protein structures predicted using Meta AI’s ESMFold protein language model. The data is sourced from protein sequences in MGnify, with the v2023_02 release corresponding to MGnify 2023_02 version, and predicted using the `esm.pretrained.esmfold_v1()` model. The upstream atlas contains over 700 million predicted structures, and the metadata table for this release (v2023_02) records 773,846,840 protein entries (note: proteins with sequence lengths exceeding 1280 residues were not folded). The dataset is stored in WebDataset format, with predicted protein structures packaged into multiple tar shards as gzip-compressed PDB files. These shards are grouped by the predicted TM score (`ptm`) and average predicted LDDT (`plddt`) confidence scores, enabling users to selectively download high-confidence regions rather than the entire massive dataset. The dataset also includes independent metadata files for filtering and querying. The metadata contains each protein’s confidence scores (`ptm`, `plddt`), sequence length (`len`), fragment flag (`is_fragment`), sequence checksum (`sequenceChecksum`), used ESMFold model version (`esmfold_version`), atlas version (`atlas_version`), and source sequence database membership information (`sequence_dbs`), among other details. This dataset is applicable for large-scale protein structure retrieval, structure-based searching, construction of confidence-filtered subsets, protein representation learning, and investigation of the structural diversity of metagenomic proteins that typically lack experimentally resolved structures. Important note: All structures are computational predictions, not experimentally resolved structures. When using the data, filtering should be performed with reference to confidence scores. A higher `plddt` indicates higher local confidence, while a higher `ptm` indicates higher confidence in the predicted global fold. Generally, structures with `plddt > 0.7` and `ptm > 0.7` can be considered a useful high-confidence subset. As the data is sourced from metagenomic sequences, many entries may represent fragments, orphan proteins, or proteins with limited experimental annotations. Users should not treat the predicted coordinates as absolute ground truth, and validation should be performed for tasks involving local geometry, active sites, or interaction interfaces. The dataset is licensed under Creative Commons Attribution 4.0 International (CC BY 4.0).
数据集概述
ESMAtlas 是 ESM Metagenomic Atlas 在 Hugging Face 上的镜像数据集，包含利用 Meta AI 的 ESMFold 蛋白质语言模型预测的超过 7 亿个宏基因组蛋白质结构。该数据集基于 MGnify 蛋白质序列，版本 v2023_02 对应 MGnify 2023_02 版本，使用 esm.pretrained.esmfold_v1() 模型进行预测。
该数据集适用于大规模蛋白质结构检索、基于结构的搜索、高置信度子集筛选、表示学习，以及研究宏基因组蛋白质的结构多样性（尤其是实验解析结构覆盖较差的蛋白质）。
数据存储与格式
- 格式：压缩的 PDB 文件（
.pdb.gz）被打包在 WebDataset tar shards（.tar.gz）中。 - 分组：Shards 按照预测 TM 分数（
ptm）和平均预测 LDDT 分数（plddt）进行分箱组织，用户可选择性地下载高置信度区域。 - 元数据：独立的元数据文件包含每个蛋白质的置信度分数、序列长度、片段标记、序列校验和、ESMFold 版本、Atlas 版本以及来源序列数据库成员等信息，用于筛选和查找。
数据集划分
- train：
v2023_02/full/tarballs/*.tar.gz下的所有结构 shards。
由于整个 WebDataset 量级巨大，Hugging Face 数据集服务器可能只显示部分预览。上游 v2023_02 元数据表包含 773,846,840 条记录，但长度超过 1280 个残基的蛋白质未被折叠。可使用元数据字段 plddt 筛选有可用结构的记录。
数据列
WebDataset 视图暴露的结构 tarballs 包含以下列：
pdb.gz：ESMFold 预测的 gzipped PDB 结构字节__key__：结构键，通常包含 MGnify 蛋白质标识符__url__：来源 tar shard 路径
仓库还包含以下元数据和清单文件：
v2023_02/metadata-rc2.parquet：Atlas 元数据表v2023_02/metadata-rc2.sqlite.gz：压缩的 SQLite 元数据表v2023_02/full/tarballs.txt：原始 tarball URL 清单v2023_02/full/foldseekdb.txt：Foldseek 数据库文件清单v2023_02/full/esm2_embeddings.txt：ESM-2 嵌入文件清单v0/highquality_clust30/highquality_clust30.fasta：v0 高置信度 30% 序列一致性聚类子集的 FASTA 序列
上游元数据表包含以下字段：
id：MGnify 蛋白质标识符ptm：预测 TM 分数plddt：预测平均 LDDT 置信度分数num_conf：plddt > 0.7的残基数len：蛋白质序列长度is_fragment：MGnify 是否将该序列标记为片段sequenceChecksum：CRC64 序列校验和esmfold_version：用于预测的 ESMFold 模型版本atlas_version：结构首次出现的 Atlas 版本sequence_dbs：来源 MGnify 发布版本成员
使用说明
由于数据集极大，建议使用流式加载。可通过 load_dataset 加载数据，解压 PDB 记录，以及直接加载元数据表进行筛选。通过 shard 命名约定，可下载特定置信度分箱的数据。
数据说明
ESMAtlas 结构为计算预测结果，而非实验解析结构。使用时应依据置信度分数筛选数据：较高的 plddt 表示较高的局部置信度，较高的 ptm 表示较高的预测全局折叠置信度。上游作者指出，plddt > 0.7 且 ptm > 0.7 的结构通常属于有用的高置信度子集。
该 Atlas 源于宏基因组蛋白质序列，因此许多条目可能代表片段、孤儿蛋白质或实验注释有限的蛋白质。用户不应将预测坐标视为真实值，在涉及局部几何结构、活性位点或相互作用界面的任务中应验证结构。
许可协议
ESM Metagenomic Atlas 数据采用 Creative Commons Attribution 4.0 International 许可协议（CC BY 4.0），可用于学术和商业用途。使用时还需遵守 Meta 的开源条款和隐私政策（如上游 ESM Atlas 项目所述）。
引用
bibtex @article{lin2023evolutionary, title = {Evolutionary-scale prediction of atomic-level protein structure with a language model}, author = {Lin, Zeming and Akin, Halil and Rao, Roshan and Hie, Brian and Zhu, Zhongkai and Lu, Wenting and Smetanin, Nikita and Verkuil, Robert and Kabeli, Ori and Shmueli, Yaniv and dos Santos Costa, Allan and Fazel-Zarandi, Maryam and Sercu, Tom and Candido, Salvatore and Rives, Alexander}, journal = {Science}, volume = {379}, number = {6637}, pages = {1123--1130}, year = {2023}, doi = {10.1126/science.ade2574}, url = {https://www.science.org/doi/10.1126/science.ade2574} }
bibtex @misc{lin2022esmatlas, title = {{ESM} Atlas v0 representative random sample of predicted protein structures}, author = {Lin, Zeming and Akin, Halil and Rao, Roshan and Hie, Brian and Zhu, Zhongkai and Lu, Wenting and Smetanin, Nikita and Verkuil, Robert and Kabeli, Ori and Shmueli, Yaniv and dos Santos Costa, Allan and Fazel-Zarandi, Maryam and Sercu, Tom and Candido, Salvatore and Rives, Alexander}, year = {2022}, publisher = {Zenodo}, doi = {10.5281/zenodo.7623482}, url = {https://doi.org/10.5281/zenodo.7623482} }
