UniRef90

UniRef90 Shard Index 数据集提供了原始 UniRef90 FASTA 分片及其对应的文件/分片索引。UniRef90 是一个蛋白质序列聚类数据库，将相似性超过 90% 的序列聚类为代表性条目以降低冗余。由于完整序列数据规模庞大（包含 188,848,220 条记录，存储为 189 个压缩的 `.fasta.zst` 分片，且每记录元数据 JSONL 文件非常大），本数据集默认的 Parquet 格式表格主要用于在 Hugging Face Dataset Viewer 中进行预览、源发现、查看文件大小和下载模式，而不是展开所有序列记录。数据集包含两个划分：训练集（train）和测试集（test），基于文件 ID 的确定性哈希进行划分（`sha256(file_id) % 10`，结果为 0 的桶为测试集，1-9 为训练集）。数据表格包含 15 个字段，详细描述了每个文件（如序列分片、元数据文件等）的路径、角色、大小、压缩信息、是否序列分片标志以及下载建议模式等元信息。该数据集适用于需要高效浏览、定位和下载大规模 UniRef90 蛋白质序列分片及其元数据的生物信息学任务，例如蛋白质序列分析、数据库构建或机器学习数据管道的前期处理。

The UniRef90 Shard Index dataset provides raw UniRef90 FASTA shards and their corresponding file/shard indices. UniRef90 is a protein sequence clustering database that groups sequences with over 90% similarity into representative entries to reduce redundancy. Due to the large scale of the complete sequence data (containing 188,848,220 records, stored as 189 compressed `.fasta.zst` shards, and with very large per-record metadata JSONL files), the default Parquet format table in this dataset is primarily used for previewing, source discovery, viewing file sizes, and download modes in the Hugging Face Dataset Viewer, rather than expanding all sequence records. The dataset includes two splits: training set (train) and test set (test), based on deterministic hashing of file IDs (`sha256(file_id) % 10`, where buckets with result 0 are test set, and 1-9 are training set). The data table contains 15 fields that detail metadata for each file (such as sequence shards, metadata files, etc.), including path, role, size, compression information, whether it is a sequence shard flag, and download recommendation mode. This dataset is suitable for bioinformatics tasks that require efficient browsing, locating, and downloading of large-scale UniRef90 protein sequence shards and their metadata, such as protein sequence analysis, database construction, or preprocessing for machine learning data pipelines.

原始信息汇总

数据集概述：UniRef90 Shard Index

• 数据集名称：UniRef90 Shard Index
• 许可证：CC-BY-4.0
• 标签：生物学、蛋白质、序列、FASTA、UniRef、聚类、Parquet
• 数据集地址：https://huggingface.co/datasets/LiteFold/UniRef90

数据内容

• 包含原始UniRef90 FASTA分片（shards）及一个便于查看的文件/分片索引。
• 完整序列数据存储为189个 .fasta.zst 分片文件。
• 每条记录的元数据JSONL文件体积巨大，因此默认数据集查看器表格索引仓库文件，而非展开全部188,848,220条序列记录。
• 使用原始 sequences/.../shard-*.fasta.zst 文件获取完整的FASTA记录。
• 使用默认的Parquet表格进行数据集查看器预览、源发现、文件大小及下载模式查询。

数据划分（Splits）

划分方式基于文件ID的SHA256哈希值模10确定：桶0为测试集，桶1至9为训练集。

划分	行数
train	175
test	19
总计	194

源统计信息（Source Statistics）

字段	值
UniRef90记录数	188,848,220
残基数	66,359,825,357
序列分片数	189
压缩后序列分片字节数	41,498,595,315
元数据JSONL字节数	66,419,395,026

数据集列（Columns）

列名	描述
file_id	稳定的行ID，等于仓库路径。
repo_id	Hugging Face数据集仓库名。
source_sha	用于构建索引的源仓库提交哈希。
source_slug	原始流水线清单中的源标识符。
path	仓库中的文件路径。
role	文件角色，如 sequence_shard、metadata_records 或 source_manifest。
shard_index	序列分片的数字索引。
size_bytes	文件大小（字节）。
compression	压缩格式（如果适用）。
records_total	清单中的UniRef90记录总数。
residues_total	清单中的残基总数。
total_shards	序列分片总数。
is_sequence_shard	该行是否指向FASTA分片。
is_metadata_records	该行是否指向每条记录的元数据JSONL文件。
download_pattern	推荐的下载路径或通配符。
access_note	描述索引范围的注释。
split_bucket	通过 sha256(file_id) % 10 确定的划分桶。

准备脚本

用于创建Parquet文件的标准化脚本包含在 scripts/prepare_uniref90_dataset.py 中。

搜集汇总

数据集介绍

构建方式

UniRef90数据集的构建依托于原版UniRef90 FASTA序列库，将全部188,848,220条蛋白质序列记录以189个.fasta.zst分片文件的形式存储，并辅以JSONL格式的元数据描述。为提升数据集浏览与索引效率，研究团队创建了Parquet格式的分片索引表，该表通过确定性划分策略，依据文件标识符的SHA256哈希值模10的结果，将数据以9:1的比例分配至训练集与测试集，合计194个索引条目。

特点

该数据集的核心优势在于其精巧的索引设计——默认视图不直接展开近两亿条序列记录，而是通过索引表呈现文件路径、大小、压缩格式及分片归属等元信息，极大提升了数据预览与定位的便捷性。同时，数据集保留了完整的FASTA压缩分片与JSONL元数据文件，实现了索引轻量化与原始数据完整性的平衡，尤其适合大规模蛋白质序列检索与下游分析任务。

使用方法

用户可通过HuggingFace的`datasets`库加载分片索引：执行`load_dataset("LiteFold/UniRef90")`即可获取默认视图，支持按需访问训练集或测试集。利用索引中的`is_sequence_shard`字段可筛选出序列分片记录，并配合`download_pattern`提供的通配符路径，使用`hf download`命令批量下载.fasta.zst文件。下载后的分片可通过Python的zstandard库解压并流式读取，实现高效的数据访问与处理。

背景与挑战

背景概述

UniRef90数据集由欧洲生物信息学研究所（EBI）等机构创建，是蛋白质序列聚类领域的核心资源，旨在将UniProt知识库中序列相似性≥90%的蛋白质序列归并至同一簇，以减少冗余并提升计算效率。该数据集自2007年首次发布以来，历经多次迭代，持续整合海量测序数据，当前版本包含近1.89亿条非冗余序列，覆盖约663.6亿个氨基酸残基，已成为蛋白质结构预测、功能注释和进化分析等研究的基础支撑。其影响力广泛渗透至生物信息学、计算生物学及药物发现等领域，显著推动了基于深度学习的方法在蛋白质模型中的应用。

当前挑战

UniRef90数据集面临的核心挑战包括：其一，蛋白质序列空间的持续膨胀使得聚类计算和存储开销呈指数级增长，如何在有限资源下高效处理百亿级残基序列的比对与去重成为难题；其二，构建过程中需平衡聚类阈值（90%相似性）与序列多样性保护的矛盾，避免因过度合并而丢失功能关键的稀有变异；其三，大规模分布式处理框架的稳定性与数据一致性难以保障，例如分片（sharding）策略需确保序列跨文件的完整索引，而元数据与FASTA文件的同步更新极易引入错配错误。

常用场景

经典使用场景

UniRef90数据集是蛋白质序列信息学领域中不可或缺的核心资源，其经典应用之一在于大规模蛋白质序列的聚类与去冗余分析。通过将相似度达到90%以上的序列归并为同一簇，该数据集为研究人员提供了高度精简且信息完整的非冗余蛋白质序列集合，广泛用作序列搜索、同源检测与功能注释的参考数据库。在蛋白质结构预测、进化关系推断以及宏基因组学研究等任务中，UniRef90通常被选为基准序列库，显著降低计算资源消耗的同时保留了代表性序列的多样性，成为下游分析流程的标准起点。

衍生相关工作

基于UniRef90数据集衍生出的一系列经典工作深刻塑造了蛋白质科学的前沿研究方向。其中最具代表性的是基于深度学习的蛋白质语言模型，例如Meta的ESM-1b和ESM-2模型直接以UniRef90作为大规模无监督预训练语料，在接触图预测、突变效应评估及结构推断等任务上取得了突破性进展。此外，AlphaFold等结构预测工具的后处理流程也常依赖UniRef90生成的序列谱作为输入特征，极大提升了多序列比对的效率与质量。这些衍生工作不仅验证了UniRef90在数据规模与质量方面的卓越性，更推动了计算生物学向数据驱动的范式转变。

数据集最近研究

最新研究方向

UniRef90数据集作为蛋白质序列聚类的重要参考资源，正深度融入以AlphaFold为代表的结构预测与大规模蛋白质语言模型的前沿浪潮。当前研究聚焦于利用其近1.89亿条非冗余序列构建高覆盖度的训练语料，推动蛋白质功能注释、进化分析和从头设计等任务的精度跃升。该数据集的高效分片索引设计，为处理百亿级残基的庞大体量提供了可复现的数据工程范式，尤其在长序列搜索和聚类压缩算法优化中展现出关键价值。结合HuggingFace生态的轻量化加载方案，UniRef90正加速从序列比对到多层次生物信息学管线的无缝衔接，成为连接传统计算生物学与深度生成模型的桥梁，对揭示蛋白质宇宙的多样性、理解致病突变机制以及加速酶工程等应用具有深远意义。