GOA

该数据集是基因本体注释联盟（GOA）提供的UniProt蛋白质注释数据的样本版本，包含原始的GOA UniProt源文件（goa_uniprot_all.gaf.gz和goa_uniprot_all.gpa.gz），但由于文件体积庞大（分别约15.4 GB和9.5 GB），默认提供了一个Parquet格式样本表以便查看和快速探索。样本表包含从每个源文件中解析出的前50,000条注释行，总计100,000行，并按照annotation_id的SHA-256哈希值进行确定性分割，其中10%的数据（10,042行）作为测试集，其余90%（89,958行）作为训练集。数据集还包括源文件清单（metadata/source_files.parquet）。数据内容涉及蛋白质功能注释，每条记录包含丰富的字段，如稳定的注释ID、来源数据库和格式、被注释的对象标识符（如UniProt蛋白ID）、基因本体（GO）术语ID、证据代码、注释方面（分子功能F、生物过程P、细胞组分C）、分类群ID、注释日期和提供者等。该数据集适用于生物信息学、计算生物学和机器学习任务，特别是蛋白质功能预测、注释系统评估以及作为大规模生物医学知识图谱的构建基础。用户可以使用该样本进行模式发现、快速原型开发和数据集预览，而完整的数据覆盖则需要下载并使用原始的压缩源文件。

This dataset is a sample version of UniProt protein annotation data provided by the Gene Ontology Annotation (GOA) consortium. It includes the original GOA UniProt source files (goa_uniprot_all.gaf.gz and goa_uniprot_all.gpa.gz), but due to their large size (approximately 15.4 GB and 9.5 GB respectively), a Parquet-format sample table is provided by default for easy viewing and quick exploration. The sample table contains the first 50,000 annotation lines parsed from each source file, totaling 100,000 rows, and is deterministically split based on the SHA-256 hash of annotation_id, with 10% of the data (10,042 rows) as a test set and the remaining 90% (89,958 rows) as a training set. The dataset also includes a source file manifest (metadata/source_files.parquet). The data involves protein functional annotations, with each record containing rich fields such as stable annotation ID, source database and format, annotated object identifier (e.g., UniProt protein ID), Gene Ontology (GO) term ID, evidence code, annotation aspect (molecular function F, biological process P, cellular component C), taxon ID, annotation date, and provider. This dataset is suitable for bioinformatics, computational biology, and machine learning tasks, particularly protein function prediction, annotation system evaluation, and as a foundation for building large-scale biomedical knowledge graphs. Users can use this sample for pattern discovery, rapid prototyping, and dataset preview, while full data coverage requires downloading and using the original compressed source files.

原始信息汇总

数据集概览

Gene Ontology Annotation UniProt (GOA) 是一个整合了 Gene Ontology 注释与 UniProt 蛋白数据的样本数据集，提供了原始 GOA 源文件的摘要及便捷的 Parquet 预览表，适用于生物学领域的基因本体与蛋白注释研究。

数据集结构

• 配置: default
• 数据格式: Parquet
• 总行数: 100,000 条注释
• 划分: 基于 annotation_id 的 SHA-256 哈希值确定性划分，余数为 0 归为 test，其余归为 train。
  • 训练集 (train): 89,958 行
  • 测试集 (test): 10,042 行

源文件

文件名	大小
goa_uniprot_all.gaf.gz	15,387,303,487 字节
goa_uniprot_all.gpa.gz	9,462,421,263 字节

• 默认视图中仅包含每个源文件前 50,000 行解析注解。
• 源文件清单存储于 metadata/source_files.parquet。

主要列说明

列名	描述
annotation_id	注释行的稳定 SHA-256 ID
source_file	源文件 (GAF 或 GPA)
source_format	解析的源格式 (GAF 或 GPA)
db_object_id	被注释对象的标识符
db_object_symbol	GAF 对象符号 (若可用)
go_id	GO 标识符
evidence_code	GO 或 ECO 证据代码
aspect	GAF 方面 (F、P 或 C)，GPA 行缺失
db_object_type	GAF 对象类型 (若可用)
taxon_ids	GAF 分类 ID (以 `
assigned_by	注释提供者
split_bucket	确定性划分桶 (sha256(annotation_id) % 10)

使用方式

该数据集可通过 datasets 库加载，支持加载预览表、单个划分、流式读取、基于条件的过滤，以及通过 huggingface_hub 下载完整源文件和元数据清单。

搜集汇总

数据集介绍

构建方式

在生物信息学领域，基因本体注释（GOA）是连接蛋白质序列与功能知识的关键桥梁。本数据集以UniProt数据库中的蛋白质注释为核心，整合了GOA项目提供的GAF与GPA格式原始文件。为应对原始文件体积庞大（GAF约15.4GB，GPA约9.5GB）带来的处理挑战，数据集通过解析其注释行，提取前50,000条记录构建为便于预览的Parquet样本表。训练集与测试集依据annotation_id的SHA-256哈希值进行确定性划分，其中哈希值末尾为0的归入测试集，1至9的归入训练集，共计100,000条注释行。构建脚本已开源，确保了数据处理的透明性与可复现性。

特点

本数据集兼具大规模完整性与轻量可探索性的双重优势。一方面，原始GAF与GPA压缩文件保留了GOA项目的全量注释信息，适用于需要全面覆盖基因本体与蛋白质关联的深度分析任务。另一方面，Parquet样本表提供了包含annotation_id、go_id、evidence_code等近30个结构化字段的摘要视图，支持快速模式发现、数据预览与示例生成。此外，数据集通过source_format字段区分GAF与GPA来源，并保留了qualifiers、db_references等列表型字段的分隔符解析结果，便于下游进行细粒度的过滤与查询操作。

使用方法

数据集的使用灵活适配从轻量探索到大规模分析的多层次需求。用户可通过HuggingFace Datasets库加载Parquet预览表，借助streaming模式高效遍历指定分片，或利用filter方法筛选如分子功能（aspect为'F'）的GAF注释行。对于全量分析，可通过HuggingFace Hub下载原始GAF与GPA压缩文件，或通过metadata/source_files.parquet获取源文件清单以进行离线处理。数据集同时支持直接访问元数据目录与注释扩展字段，便于与Gene Ontology知识库、UniProt序列数据库等进行联合分析。安装datasets库后，仅需数行代码即可完成加载与基本操作。

背景与挑战

背景概述

GOA（Gene Ontology Annotation）数据集由LiteFold团队于近期构建并发布，旨在为基因本体（Gene Ontology）注释领域提供标准化的数据资源。该数据集基于UniProt数据库中的蛋白质功能注释信息，系统整合了GAF和GPA两种格式的注释文件，涵盖生物过程、分子功能和细胞组分三大本体维度。作为连接蛋白质序列与功能知识的重要桥梁，GOA数据集为计算生物学研究者提供了大规模、高质量的蛋白质-功能关联数据，支撑着功能预测、基因注释挖掘及蛋白质相互作用网络分析等前沿研究方向的发展。

当前挑战

该数据集所解决的核心领域挑战在于基因本体注释数据的高效获取与标准化处理。原始GOA源文件体积庞大（GAF文件约15.4GB，GPA文件约9.5GB），对计算资源与存储空间提出严峻考验。同时，数据集构建过程中面临多源异构注释信息的融合难题，包括不同格式的语义对齐、证据代码的标准化映射以及跨数据库标识符的统一。此外，确保注释数据的时间一致性、避免冗余记录、维护稳定的训练-测试划分机制（基于annotation_id的SHA-256哈希算法）也是关键技术挑战，旨在为下游任务提供可靠的数据基准。

常用场景

经典使用场景

GOA数据集作为基因本体论（Gene Ontology）注释领域的核心资源，其最经典的使用场景在于为蛋白质功能预测模型提供高质量的标注数据。研究者常利用该数据集中结构化的GAF和GPA格式文件，提取蛋白质-功能术语的关联关系，构建监督学习任务中的正负样本。通过解析db_object_id、go_id、evidence_code等关键字段，可系统性地训练分类器来预测未知蛋白质的分子功能、生物学过程或细胞组分属性。该数据集涵盖超过1500万条注释记录，覆盖多种真核与原核物种的蛋白质，为跨物种功能推断提供了统一的基准平台，尤其适合需要大规模、标准化功能标签的深度学习架构，如基于Transformer的蛋白语言模型微调。

实际应用

在实际生物信息学应用中，GOA数据集为药物发现和疾病机制解析提供了关键支撑。药物研发人员利用其中详细的基因产物功能注释，能更精准地识别与疾病相关的蛋白质靶点，指导候选化合物的筛选与验证。在农业育种领域，该数据集被用于解析作物抗逆相关蛋白的功能网络，加速具有优良性状的品种选育。临床诊断方面，通过比对患者突变蛋白与GOA标准功能谱的差异，研究人员可辅助推断致病机理，为个性化医疗方案提供依据。此外，诸如UniProt等公共数据库持续将GOA注释整合到其检索系统中，使得全球科研人员能够即时访问蛋白质的标准化功能描述，极大地推动了跨学科的知识共享与研究协作。

衍生相关工作

围绕GOA数据集衍生了大量经典工作，其中最具代表性的是DeepGO系列模型。DeepGO首次将深度图卷积网络应用于GOA数据，利用蛋白序列与功能本体图结构实现精准的自动化功能预测，其后续版本DeepGOPlus进一步引入了BLAST序列同源特征。此外，著名的CAFA（Critical Assessment of Function Annotation）竞赛长期依赖GOA对参与者算法进行独立评估，推动了多种集成学习与多标签分类方法的诞生。在知识图谱领域，GOA被整合进诸如GeneMANIA等功能交互网络预测工具中。近年来，基于GOA开发的蛋白功能词嵌入表示方法（如GOVec）也成为生物文本挖掘的重要基础，这些衍生工作共同构建了一个从数据到模型再到实际应用的完整生态，持续引领着计算功能基因组学的发展方向。