ESMAtlas

ESMAtlas是ESM宏基因组图谱在Hugging Face上的镜像数据集，是一个大规模资源，包含使用Meta AI的ESMFold蛋白质语言模型预测的宏基因组蛋白质结构。数据来源于MGnify的蛋白质序列（v2023_02版本对应MGnify 2023_02版本），通过esm.pretrained.esmfold_v1()模型预测。上游图谱包含超过7亿个预测结构，本版本元数据表记录了773,846,840条蛋白质条目（序列长度超过1280残基的蛋白质未被折叠）。数据集以WebDataset格式存储，预测的蛋白质结构以gzip压缩的PDB文件形式打包在多个tar分片中，这些分片根据预测的TM分数（ptm）和平均预测LDDT（plddt）置信度分数分组，便于选择性下载高置信度区域。还包括独立元数据文件，用于筛选和查询，包含置信度分数、序列长度、片段标记、序列校验和、ESMFold模型版本、图谱版本及源序列数据库成员信息等。该数据集适用于大规模蛋白质结构检索、基于结构的搜索、构建置信度过滤子集、蛋白质表示学习，以及研究宏基因组蛋白质的结构多样性。注意：所有结构均为计算预测结果，非实验解析，使用时应参考置信度分数，通常plddt > 0.7且ptm > 0.7可视为高置信度子集。数据来源于宏基因组序列，可能包含片段或注释有限的蛋白质，预测坐标不应视为绝对真实值，需在特定任务中验证。数据集采用Creative Commons Attribution 4.0 International (CC BY 4.0)许可。

ESMAtlas is a mirror dataset of the ESM Metagenomic Atlas hosted on Hugging Face. The atlas is a large-scale resource containing metagenomic protein structures predicted using Meta AI’s ESMFold protein language model. The data is sourced from protein sequences in MGnify, with the v2023_02 release corresponding to MGnify 2023_02 version, and predicted using the `esm.pretrained.esmfold_v1()` model. The upstream atlas contains over 700 million predicted structures, and the metadata table for this release (v2023_02) records 773,846,840 protein entries (note: proteins with sequence lengths exceeding 1280 residues were not folded).

The dataset is stored in WebDataset format, with predicted protein structures packaged into multiple tar shards as gzip-compressed PDB files. These shards are grouped by the predicted TM score (`ptm`) and average predicted LDDT (`plddt`) confidence scores, enabling users to selectively download high-confidence regions rather than the entire massive dataset. The dataset also includes independent metadata files for filtering and querying. The metadata contains each protein’s confidence scores (`ptm`, `plddt`), sequence length (`len`), fragment flag (`is_fragment`), sequence checksum (`sequenceChecksum`), used ESMFold model version (`esmfold_version`), atlas version (`atlas_version`), and source sequence database membership information (`sequence_dbs`), among other details.

This dataset is applicable for large-scale protein structure retrieval, structure-based searching, construction of confidence-filtered subsets, protein representation learning, and investigation of the structural diversity of metagenomic proteins that typically lack experimentally resolved structures.

Important note: All structures are computational predictions, not experimentally resolved structures. When using the data, filtering should be performed with reference to confidence scores. A higher `plddt` indicates higher local confidence, while a higher `ptm` indicates higher confidence in the predicted global fold. Generally, structures with `plddt > 0.7` and `ptm > 0.7` can be considered a useful high-confidence subset. As the data is sourced from metagenomic sequences, many entries may represent fragments, orphan proteins, or proteins with limited experimental annotations. Users should not treat the predicted coordinates as absolute ground truth, and validation should be performed for tasks involving local geometry, active sites, or interaction interfaces.

The dataset is licensed under Creative Commons Attribution 4.0 International (CC BY 4.0).

原始信息汇总

数据集概述

ESMAtlas 是 ESM Metagenomic Atlas 在 Hugging Face 上的镜像数据集，包含利用 Meta AI 的 ESMFold 蛋白质语言模型预测的超过 7 亿个宏基因组蛋白质结构。该数据集基于 MGnify 蛋白质序列，版本 v2023_02 对应 MGnify 2023_02 版本，使用 esm.pretrained.esmfold_v1() 模型进行预测。

该数据集适用于大规模蛋白质结构检索、基于结构的搜索、高置信度子集筛选、表示学习，以及研究宏基因组蛋白质的结构多样性（尤其是实验解析结构覆盖较差的蛋白质）。

数据存储与格式

• 格式：压缩的 PDB 文件（.pdb.gz）被打包在 WebDataset tar shards（.tar.gz）中。
• 分组：Shards 按照预测 TM 分数（ptm）和平均预测 LDDT 分数（plddt）进行分箱组织，用户可选择性地下载高置信度区域。
• 元数据：独立的元数据文件包含每个蛋白质的置信度分数、序列长度、片段标记、序列校验和、ESMFold 版本、Atlas 版本以及来源序列数据库成员等信息，用于筛选和查找。

数据集划分

• train：v2023_02/full/tarballs/*.tar.gz 下的所有结构 shards。

由于整个 WebDataset 量级巨大，Hugging Face 数据集服务器可能只显示部分预览。上游 v2023_02 元数据表包含 773,846,840 条记录，但长度超过 1280 个残基的蛋白质未被折叠。可使用元数据字段 plddt 筛选有可用结构的记录。

数据列

WebDataset 视图暴露的结构 tarballs 包含以下列：

• pdb.gz：ESMFold 预测的 gzipped PDB 结构字节
• __key__：结构键，通常包含 MGnify 蛋白质标识符
• __url__：来源 tar shard 路径

仓库还包含以下元数据和清单文件：

• v2023_02/metadata-rc2.parquet：Atlas 元数据表
• v2023_02/metadata-rc2.sqlite.gz：压缩的 SQLite 元数据表
• v2023_02/full/tarballs.txt：原始 tarball URL 清单
• v2023_02/full/foldseekdb.txt：Foldseek 数据库文件清单
• v2023_02/full/esm2_embeddings.txt：ESM-2 嵌入文件清单
• v0/highquality_clust30/highquality_clust30.fasta：v0 高置信度 30% 序列一致性聚类子集的 FASTA 序列

上游元数据表包含以下字段：

• id：MGnify 蛋白质标识符
• ptm：预测 TM 分数
• plddt：预测平均 LDDT 置信度分数
• num_conf：plddt > 0.7 的残基数
• len：蛋白质序列长度
• is_fragment：MGnify 是否将该序列标记为片段
• sequenceChecksum：CRC64 序列校验和
• esmfold_version：用于预测的 ESMFold 模型版本
• atlas_version：结构首次出现的 Atlas 版本
• sequence_dbs：来源 MGnify 发布版本成员

使用说明

由于数据集极大，建议使用流式加载。可通过 load_dataset 加载数据，解压 PDB 记录，以及直接加载元数据表进行筛选。通过 shard 命名约定，可下载特定置信度分箱的数据。

数据说明

ESMAtlas 结构为计算预测结果，而非实验解析结构。使用时应依据置信度分数筛选数据：较高的 plddt 表示较高的局部置信度，较高的 ptm 表示较高的预测全局折叠置信度。上游作者指出，plddt > 0.7 且 ptm > 0.7 的结构通常属于有用的高置信度子集。

该 Atlas 源于宏基因组蛋白质序列，因此许多条目可能代表片段、孤儿蛋白质或实验注释有限的蛋白质。用户不应将预测坐标视为真实值，在涉及局部几何结构、活性位点或相互作用界面的任务中应验证结构。

许可协议

ESM Metagenomic Atlas 数据采用 Creative Commons Attribution 4.0 International 许可协议（CC BY 4.0），可用于学术和商业用途。使用时还需遵守 Meta 的开源条款和隐私政策（如上游 ESM Atlas 项目所述）。

引用

bibtex @article{lin2023evolutionary, title = {Evolutionary-scale prediction of atomic-level protein structure with a language model}, author = {Lin, Zeming and Akin, Halil and Rao, Roshan and Hie, Brian and Zhu, Zhongkai and Lu, Wenting and Smetanin, Nikita and Verkuil, Robert and Kabeli, Ori and Shmueli, Yaniv and dos Santos Costa, Allan and Fazel-Zarandi, Maryam and Sercu, Tom and Candido, Salvatore and Rives, Alexander}, journal = {Science}, volume = {379}, number = {6637}, pages = {1123--1130}, year = {2023}, doi = {10.1126/science.ade2574}, url = {https://www.science.org/doi/10.1126/science.ade2574} }

bibtex @misc{lin2022esmatlas, title = {{ESM} Atlas v0 representative random sample of predicted protein structures}, author = {Lin, Zeming and Akin, Halil and Rao, Roshan and Hie, Brian and Zhu, Zhongkai and Lu, Wenting and Smetanin, Nikita and Verkuil, Robert and Kabeli, Ori and Shmueli, Yaniv and dos Santos Costa, Allan and Fazel-Zarandi, Maryam and Sercu, Tom and Candido, Salvatore and Rives, Alexander}, year = {2022}, publisher = {Zenodo}, doi = {10.5281/zenodo.7623482}, url = {https://doi.org/10.5281/zenodo.7623482} }

搜集汇总

数据集介绍

构建方式

ESMAtlas是基于Meta AI开发的ESMFold蛋白质语言模型，对来自MGnify数据库的海量宏基因组蛋白序列进行大规模结构预测而构建的资源。该数据集以WebDataset格式存储，将预测得到的蛋白质结构以压缩的PDB文件形式组织在tar分片中，并根据预测的TM分数（ptm）和平均pLDDT置信度（plddt）进行分箱，以便用户按需下载高置信度子集。数据集的v2023_02版本对应MGnify 2023_02发布，包含超过7.73亿条记录，但仅对长度低于1280个残基的序列进行了折叠预测。

特点

ESMAtlas的核心特点在于其规模宏大且结构丰富，提供了大量实验解析结构难以覆盖的宏基因组蛋白构象。数据集按置信度分箱存储，方便用户筛选高置信度区域，同时附带详尽的元数据表，包含蛋白标识符、ptm、plddt、序列长度、片段标志、校验和、ESMFold版本及来源数据库等信息。所有结构均为计算预测结果而非实验验证，因此需谨慎使用置信度分数，通常plddt > 0.7且ptm > 0.7的子集被认为具有较高可靠性。

使用方法

由于数据集规模极大，推荐使用流式加载方式。用户可通过Hugging Face的datasets库调用load_dataset函数并设置streaming=True来逐条读取结构记录，随后利用gzip解压PDB内容。元数据表可单独从Parquet或SQLite文件加载，支持按置信度条件过滤，例如筛选plddt和ptm均大于0.7的高置信度数据。此外，通过指定分片文件名的置信度区间模式，可以直接下载特定置信度范围的分箱数据，从而灵活控制数据量并适配下游任务需求。

背景与挑战

背景概述

ESMAtlas，即ESM元基因组图谱，是由Meta AI研究团队基于其开发的ESMFold蛋白质语言模型于2023年构建的大规模蛋白质结构预测资源。该数据集旨在对来自MGnify数据库的海量元基因组蛋白序列进行原子级三维结构预测，核心研究问题在于填补实验解析结构在元基因组蛋白覆盖上的巨大空白。ESMAtlas收录了超过7.73亿条预测结构，并提供了基于置信度分数（pLDDT和pTM）的分层管理机制，使得研究者能够高效筛选高置信度子集。自发布以来，该数据集极大地推动了蛋白质结构检索、基于结构的搜索、表示学习以及元基因组蛋白结构多样性研究等领域的发展，成为连接计算预测与生物学发现的重要桥梁。

当前挑战

ESMAtlas所解决的领域核心挑战在于，传统实验方法（如X射线晶体学、冷冻电镜）难以高通量解析元基因组中数量庞大、序列新颖的蛋白质结构，导致大量功能未知蛋白的结构信息缺失。构建过程中面临的主要挑战包括：处理长度超过1280个残基的超长蛋白序列无法折叠；管理超过7.7亿条结构数据的存储与高效分发，需采用WebDataset分片和基于置信度分数的分桶策略；确保预测结构的科学可靠性，避免将计算模型视为实验真相，尤其对于片段序列、孤蛋白等低置信度条目需谨慎使用，并辅助以丰富的元数据注释以支持精细筛选。

常用场景

经典使用场景

在蛋白质结构预测与宏基因组学交汇的前沿领域，ESMAtlas凭借其超过7.7亿条由ESMFold模型预测的蛋白质结构数据，构筑起一座宏基因组蛋白质结构宇宙的数字化丰碑。该数据集最经典的使用场景聚焦于大规模蛋白质结构检索与结构数据库的构建，研究者可通过WebDataset流式加载方式高效获取压缩的PDB文件，并依据预测的pLDDT和pTM置信度评分灵活筛选高置信度子集。这种按置信度分片存储的设计，使得下游任务能够精准聚焦于结构质量上乘的蛋白质，从而为探索宏基因组中那些缺乏实验解析结构的未知蛋白空间提供了前所未有的数据基础。

衍生相关工作

围绕ESMAtlas数据宝库衍生出的相关经典工作已蔚然成风，其中最具代表性的当属基于高置信度聚类子集开展的蛋白质结构嵌入表示学习。研究者利用ESM-2模型预处理后的嵌入向量与原子坐标，训练出能够捕捉序列-结构协同关系的深度神经网络，从而在多种下游任务中实现了零样本或小样本的泛化能力。另一个重要分支是构建置信度引导的结构筛选框架，例如通过pLDDT与pTM的联合阈值设定，自动生成适用于分子动力学模拟或功能注释的高质量结构集合。这些衍生工作不仅验证了ESMAtlas作为结构数据基础设施的可靠性，更催生了诸如“结构对比学习”、“宏基因组折叠空间图谱”等新兴研究方向，持续推动着计算结构生物学的边界向外延展。

数据集最近研究

最新研究方向

当前，ESMAtlas数据集正推动宏基因组蛋白质结构预测领域迈向前所未有的规模化探索。凭借ESMFold语言模型生成的超过7亿个高置信度蛋白质结构，该资源已成为解析未培养微生物暗物质结构的核心利器。前沿研究聚焦于利用其按置信度（pLDDT、pTM）分层的设计，高效筛选出高保真结构子集，用于深度学习和表示学习中的结构检索与聚类分析。同时，Foldseek数据库的引入使得基于结构的快速比对成为可能，极大加速了宏基因组来源新蛋白的功能注释。这些成果正深刻重塑对微生物群落中孤儿蛋白和片段序列结构多样性的认知，并为合成生物学中的新型酶发现与设计奠定了数据基石。