Geneformer_dataset

# Geneformer_dataset 本仓库为 [Geneformer](https://huggingface.co/ctheodoris/Geneformer) 系列模型预训练语料 （Genecorpus）的镜像，包含 **Genecorpus-30M** 与 **Genecorpus-104M** 两个大规模 人类单细胞转录组语料库。数据以 Hugging Face Datasets 的 Apache Arrow 格式存储， 每个样本为单个细胞转录组的 **rank value encoding**（基因表达秩编码）。 ## 数据集概要 | 项目 | Genecorpus-30M | Genecorpus-104M | |------|----------------|-----------------| | 细胞数 | 约 3,000 万（过滤后 27,406,217） | 约 1.04 亿（103,877,737） | | 来源数据集数 | 561 个公开数据集 | 2,903 个公开数据集 | | 词汇表 | 25,424 个蛋白编码/miRNA 基因 | 20,271 个蛋白编码基因 | | 字段 | `input_ids`, `lengths` | `input_ids` | | 数据格式 | Arrow（Hugging Face Datasets） | Arrow（Hugging Face Datasets） | | 对应模型 | Geneformer（v1） | Geneformer-V2 | | 许可协议 | Apache-2.0（作者声明） | Apache-2.0（作者声明） | | 物种 | Homo sapiens | Homo sapiens | ## 数据内容 Genecorpus 将每个单细胞转录组表示为基因表达秩编码： 1. 统计每个基因在全部细胞中的非零表达中位数； 2. 将各细胞转录本计数按总转录本数归一化（校正测序深度）； 3. 以基因跨语料非零表达中位数对每个细胞内的表达进行归一化，并按归一化表达 秩排序，得到该细胞的 rank value encoding； 4. 基于固定词表（Ensembl 基因 ID 映射 token ID）完成分词。 该表示可降低管家基因（普遍高表达）的权重，突出区分细胞状态的基因，并对 技术性批次伪影更为稳健。数据中不包含可追溯的测序 reads，无个人或敏感信息。 ## 目录结构 ``` Geneformer_dataset/ README.md # 数据集卡片（本文件） Genecorpus-30M/ README.md # 官方数据集卡片 token_dictionary.pkl # token ID ↔ Ensembl 基因 ID 映射 genecorpus_30M_2048_lengths.pkl genecorpus_30M_2048_sorted_lengths.pkl genecorpus_30M_2048.dataset/ # Arrow 数据（dataset.arrow 等） example_input_files/ # 下游微调示例输入 gene_info_table.csv tf_targets/ cell_classification/ gene_classification/ Genecorpus-104M/ README.md # 官方数据集卡片 genecorpus_104M_4096.dataset/ # Arrow 数据（1202 个分片） ``` ## 快速加载 ### 从本仓库加载（ModelScope SDK + datasets） ```python from modelscope import snapshot_download from datasets import load_from_disk local_dir = snapshot_download('OneScience/Geneformer_dataset', allow_patterns='Genecorpus-104M/*') ds = load_from_disk(local_dir + '/Genecorpus-104M/genecorpus_104M_4096.dataset') print(ds) # Dataset({features: ['input_ids'], num_rows: ...}) ``` ### 从原始仓库加载（Hugging Face） ```python from datasets import load_dataset ds_30m = load_dataset('ctheodoris/Genecorpus-30M') ds_104m = load_dataset('ctheodoris/Genecorpus-104M') ``` ### 数据字段 - `input_ids`：单个细胞的 rank value encoding（token ID 序列，int32/int64） - `lengths`（仅 30M）：该细胞编码长度 token 字典（token ID ↔ Ensembl 基因 ID）见 `Genecorpus-30M/token_dictionary.pkl` （30M）与 Geneformer 官方模型仓库中的 `token_dictionary_104M.pkl`（104M）。 ## 数据来源 - **Genecorpus-30M**：来自 Theodoris et al., *Nature* 2023 论文 Methods 中引用的 561 个公开数据集，来源包括 NCBI GEO、SRA、Human Cell Atlas、EMBL-EBI Single Cell Expression Atlas、Broad Single Cell Portal、TISCH、Panglao、10x Genomics、UCSC Cell Browser、Synapse、Zenodo、Figshare、dbGaP、Refine.bio、中国国家基因库序列 档案等。 - **Genecorpus-104M**：来自 Chen and Venkatesh et al., *Nature Computational Science* 2026 论文 Methods 中引用的 2,903 个公开数据集（另含 CELLxGENE）。 两者均仅纳入经过质量过滤（总 reads 与线粒体 reads 在均值 ±3 标准差内、检出基因 ≥7）的液滴法测序细胞，排除高突变负荷细胞（如恶性细胞、永生化细胞系）。 ## 已知限制 - 语料仅用于自监督预训练，无标注，不能直接用于监督微调； - 部分组织/细胞类型因当时公开数据缺失而未覆盖； - 语料以秩编码而非原始表达量存储，不保留测序 reads； - 104M 词表仅含蛋白编码基因（无 miRNA）。 ## 引用 ```bibtex @article{theodoris2023transfer, title = {Transfer learning enables predictions in network biology}, author = {Theodoris, Christina V and Xiao, Ling and Chopra, Anant and Chaffin, Mark D and Al Sayed, Zeina R and Hill, Matthew C and Mantineo, Helene and Brydon, Elizabeth M and Zeng, Zexian and Liu, X Shirley and Ellinor, Patrick T}, journal = {Nature}, year = {2023} } ``` ```bibtex @article{chen2026scaling, title = {Scaling and quantization of large-scale foundation model enables resource-efficient predictions in network biology}, author = {Chen, Han and Venkatesh, Manvitha S and G{\'o}mez Ortega, Javier and Mahesh, Shreya V and Nandi, Trisha N and Madduri, Ravi K and Pelka, Karin and Theodoris, Christina V}, journal = {Nature Computational Science}, year = {2026} } ``` ## 许可与致谢 - 本数据集为 [ctheodoris/Genecorpus-30M](https://huggingface.co/datasets/ctheodoris/Genecorpus-30M) 与 [ctheodoris/Genecorpus-104M](https://huggingface.co/datasets/ctheodoris/Genecorpus-104M) 的镜像，许可协议以作者在数据卡中声明的 **Apache-2.0** 为准。 - 数据由 Christina Theodoris 团队（Gladstone Institutes）构建，原始研究论文见上方引用。 - 使用时请引用原始论文，并遵守各上游数据源的相关条款。