HuggingFaceBio/carbon-pretraining-corpus

Carbon预训练语料库是一个用于训练基因组基础模型（如Carbon）的数据集，包含1.73亿个DNA和RNA序列，总计1.1万亿个核苷酸。该数据集涵盖真核生物和原核生物物种的DNA和RNA序列，使用6-mer分词器时对应1800亿个token。它提供多个子集配置，包括真核生物基因组（eukaryote_generator）、信使RNA（mrna_evo2）、增强mRNA转录本（mrna_splice_evo2）、原核生物基因组（prokaryote_evo2）以及一个预采样的10B-token真核生物子集（eukaryote_generator_10B_subset），用于较小或更快的运行。数据集旨在通过处理DNA字母序列（A、T、G、C）来学习生命的统计模式，覆盖真核生物、原核生物和mRNA三个主要生物复杂性层次。

The Carbon Pretraining Corpus is a dataset intended for training genomic foundation models, such as Carbon, containing 173M DNA & RNA sequences with 1.1 trillion nucleotides. It spans DNA and RNA sequences from eukaryote and prokaryote species, totaling 180B tokens when using a 6-mer tokenizer. The dataset includes multiple configs: eukaryote genomes (eukaryote_generator), messenger RNA (mrna_evo2), augmented mRNA transcripts (mrna_splice_evo2), prokaryote genomes (prokaryote_evo2), and a pre-sampled 10B-token eukaryote subset (eukaryote_generator_10B_subset) for smaller or faster runs. It is designed to learn the statistical patterns of life by treating DNA letters (A, T, G, C) as tokens, covering three major layers of biological complexity: eukaryotes, prokaryotes, and mRNA.

搜集汇总

数据集介绍

构建方式

该数据集是为训练基因组基础模型Carbon而精心构建的DNA与RNA序列混合语料库，囊括了来自多个权威来源的173M条序列，累计包含1.1万亿个核苷酸。数据集分为五个核心配置：eukaryote_generator源自GenerTeam，涵盖真菌、植物、原生生物及脊椎动物等真核生物基因组，并依据GENERator方法过滤掉超过100 kbp的长序列；mrna_evo2和mrna_splice_evo2来自Arc Institute的OpenGenome2，前者提供经剪接加工的信使RNA，后者则在每个转录本前端附加1024 bp的启动子序列，并在外显子边界添加32 bp的侧翼序列以暴露剪接位点；prokaryote_evo2同样源自OpenGenome2，整合了GTDB v220和IMG/PR数据库中细菌与古菌的紧凑基因组；eukaryote_generator_10B_subset则是从eukaryote_generator中按物种自然分布比例均匀采样得到的600亿核苷酸子集，便于快速实验。所有数据以Parquet格式存储，支持流式加载。

使用方法

用户可通过HuggingFace Datasets库便捷地加载该数据集，使用load_dataset函数指定配置名称（如mrna_evo2、eukaryote_generator等）和split='train'，并启用streaming=True以支持大规模数据的流式处理。适用于基于6-mer分词器的基因组语言模型预训练，每个token对应6个核苷酸。在Carbon模型的训练中，数据集按70%真核基因组、16%信使RNA、10%原核基因组和4%增强型mRNA的比例混合。对于eukaryote_generator子集，可在序列前附加<species>、<gene_type>等元数据标签进行条件化训练，推理时则可根据需要自由组合或省略标签。长序列场景下，可依据contig信息将同一染色体上的基因拼接为更长的训练样本。

背景与挑战

背景概述

Carbon Pretraining Corpus是由Hugging Face团队联合多个研究机构于2026年构建的大规模基因组预训练数据集，旨在为基因组基础模型（如Carbon）提供训练语料。该数据集汇集了来自真核生物、原核生物及信使RNA的超过1.1万亿个核苷酸序列，涵盖173M条DNA与RNA序列，规模达到TB级别。其核心研究问题在于如何利用海量、多源的基因组序列数据，通过自监督预训练范式捕捉生命语言的复杂模式，从而推动基因组学、进化生物学及合成生物学领域的发展。该数据集的出现为基因组基础模型的构建奠定了数据基石，显著提升了模型对遗传信息的理解与生成能力。

当前挑战

该数据集所解决的领域问题在于基因组序列的表示学习：传统方法难以从海量且高度重复的基因组数据中提取有效特征，而该数据集通过整合真核、原核及mRNA等多类别序列，使模型能够跨物种学习通用的生物学规律。构建过程中面临的挑战包括：跨源数据的异构性整合，如不同数据库的序列格式与元数据标准差异；大规模数据的高效存储与流式加载，需支持TB级数据的快速访问；以及数据平衡与采样策略的设计，避免物种偏向性，确保模型泛化能力。此外，序列长度过滤与长上下文训练需求的权衡也是技术难点。

常用场景

经典使用场景

在基因组学与自然语言处理交叉研究的前沿领域，Carbon预训练语料库作为核心数据支撑，被广泛用于训练DNA层面的基础大语言模型。研究者通常采用该数据集中的真核生物基因组片段、原核生物基因组序列以及信使RNA转录本等多元子集，结合6-mer分词策略，将核苷酸序列转换为离散令牌序列，进而训练能够捕捉生命语言中深层语法与统计规律的Transformer架构模型。这一范式使得模型能够在无监督条件下，从浩瀚的基因组数据中自主习得跨物种的序列表征能力。

解决学术问题

该数据集的核心贡献在于系统性地解决了基因组语言模型预训练中数据规模不足与生物多样性覆盖有限的瓶颈。凭借其涵盖真核、原核及mRNA的1.1万亿核苷酸规模，Carbon预训练语料库为模型提供了足够的统计信号以捕捉编码区与非编码区的复杂调控模式、剪接位点的保守性特征，以及跨物种的进化保守序列。这一资源极大地推动了利用自监督学习解析DNA功能元件、预测基因表达以及理解非编码RNA调控网络等学术问题的研究进展，为计算基因组学领域奠定了数据基石。

实际应用

在实际应用层面，基于Carbon预训练语料库训练得到的基因组基础模型展现出显著的转化潜力。在生物医学诊断中，该模型能够辅助识别致病性单核苷酸变异与结构变异，提升罕见病基因检测的准确性。在合成生物学领域，研究人员利用其序列生成能力，设计具有特定功能的新型基因调控元件或优化代谢通路中的关键酶编码序列。此外，在农业基因组学中，该模型可用于预测作物抗病性与环境适应相关的基因位点，加速分子育种进程。

数据集最近研究

最新研究方向

该数据集为基因组基础模型（如Carbon）的预训练提供了大规模、多层次的DNA与RNA序列语料，涵盖了真核生物、原核生物及mRNA三大生物学层级，总计1.1万亿核苷酸。当前前沿研究方向聚焦于利用该语料库训练能够解码基因组“语言”的Transformer模型，探索无监督学习下的序列模式捕捉能力，并推动蛋白质编码预测、基因调控元件识别及跨物种进化分析等下游任务的突破。其与Evo2等模型的数据共享和元数据条件化策略（如物种标签的随机丢弃）增强了模型在生物学上下文中的自适应能力，为从序列到功能的精准映射提供了新范式。这一语料库的发布加速了生命科学领域从实验驱动向计算驱动的转型，尤其在个性化医疗和合成生物学中具有深远影响。