Interpreting Protein Language Models through Sparse Autoencoders - Datasets

This zenodo repository contains the following files:

Datasets

astral-40-20.08.csv: List of sequences from SCOPe version 2.08 filtered to 40% sequence identity. 

sprot_protein.csv: Protein sequences from Uniprot SwissProt version 2024_01, plus additional high level annotations.

sprot_aminoacid.csv: Selected annotations at the amino acid level for the Uniprot SwissProt proteins version 2024_01.

Sparse AutoEncoder Data

esm2_6_31.pt: Weights for a vanilla Sparse AutoEncoder trained on embeddings from layer 3 of the smallest ESM-2. 

esm2_6_31_cfg.json: Config file with parameters for the Sparse AutoEncoder.

Latent - Feature Labels Dataset

label_latent_pairs.csv: Table with a list of SAE latent components and uniprot feature label associations (putative interpretations). 

References

UniProt: the Universal Protein Knowledgebase in 2025. The UniProt Consortium. Nucleic Acids Research, Volume 53, Issue D1, 6 January 2025, Pages D609–D617,https://doi.org/10.1093/nar/gkae1010

SCOPe: Structural Classification of Proteins—extended, integrating SCOP and ASTRAL data and classification of new structures. Naomi K. Fox, Steven E. Brenner, John-Marc Chandonia. Nucleic Acids Research, Volume 42, Issue D1, 1 January 2014, Pages D304–D309, https://doi.org/10.1093/nar/gkt1240

本泽诺多（Zenodo）仓储包含以下文件：

数据集
astral-40-20.08.csv：过滤至40%序列同一性的SCOPe（Structural Classification of Proteins—extended）2.08版本序列列表。
sprot_protein.csv：来自UniProt SwissProt（Universal Protein Resource Swiss-Prot）2024_01版本的蛋白质序列，附加高级注释信息。
sprot_aminoacid.csv：针对2024_01版本的UniProt SwissProt蛋白质的氨基酸水平精选注释。

稀疏自编码器数据
esm2_6_31.pt：在最小尺寸ESM-2模型第3层嵌入上训练的基础版稀疏自编码器（vanilla Sparse AutoEncoder）权重。
esm2_6_31_cfg.json：该稀疏自编码器的参数配置文件。

潜在特征标签数据集
label_latent_pairs.csv：包含SAE（Sparse AutoEncoder，稀疏自编码器）潜在组件与UniProt特征标签关联（推测性注释）的表格。

参考文献
《UniProt：2025年通用蛋白质知识库》。UniProt联盟。《核酸研究》，第53卷，D1期，2025年1月6日，第D609–D617页，https://doi.org/10.1093/nar/gkae1010
《SCOPe：扩展的蛋白质结构分类——整合SCOP与ASTRAL数据并对新结构进行分类》。Naomi K. Fox、Steven E. Brenner、John-Marc Chandonia。《核酸研究》，第42卷，D1期，2014年1月1日，第D304–D309页，https://doi.org/10.1093/nar/gkt1240