dnagpt/omnigene4-cpt-corpus

OmniGene-4 CPT语料库是一个用于OmniGene-4模型继续预训练的生物信息学数据集，总大小约96 GB。它包含多个子集：DNA序列（采样自公共基因组）、蛋白质序列（来自UniRef和LucaOne预训练池）、英文文本回放（采样自OpenWebText）、PDB氨基酸序列及其对应的Foldseek-3Di序列，以及DSSP二级结构标签。该数据集旨在支持多模态生物语言模型的训练，特别是在DNA、蛋白质和结构数据方面，训练时采用DNA:蛋白质:OpenWebText的1:1:1混合比例，并利用3Di和DSSP数据进行残基级分类任务。

The OmniGene-4 CPT corpus is a continued-pre-training dataset for the OmniGene-4 model, with a total size of approximately 96 GB. It includes multiple splits: DNA sequences sampled from public genomes, protein sequences derived from UniRef and the LucaOne pretraining pool, English text replay sampled from OpenWebText, PDB amino-acid sequences paired with Foldseek-3Di sequences, and DSSP secondary-structure labels. This dataset is designed for training multimodal bio-language models, particularly focusing on DNA, protein, and structural data, with a training mixing ratio of 1:1:1 for DNA:protein:OpenWebText, and utilizes 3Di and DSSP files for per-residue classification objectives.

搜集汇总

数据集介绍

构建方式

OmniGene-4 CPT Corpus是为OmniGene-4模型设计的持续预训练语料库，总容量约96GB，涵盖DNA、蛋白质、结构与英文文本四大模态。其构建方式基于从公开基因组中采样31GB的DNA序列、从UniRef数据库中提取16GB的蛋白质序列、从LucaOne预训练池获取15GB的蛋白质序列，并混合37GB的OpenWebText英文文本。此外，还纳入100MB的PDB氨基酸序列及其对应的Foldseek-3Di结构序列，以及263MB的DSSP二级结构标签数据，形成多模态对齐的语料体系。训练时采用DNA、蛋白质与OpenWebText按1:1:1等比例混合的策略，而3Di与DSSP文件则专门用于双任务逐残基分类目标。

特点

该数据集的核心特点在于其多模态融合与结构功能联合建模的范式。它不仅包含典型的DNA与蛋白质序列数据，还创新性地引入Foldseek-3Di结构序列与DSSP二级结构标签，使得模型能够在序列信息基础上同时学习空间构象与局部分子功能。通过将结构数据与序列数据配对使用，数据集支持对蛋白质结构预测与功能注释的协同训练。其规模超过100万条样本，且所有数据均以纯文本形式存储，便于大规模分布式预训练流水线的高效调度与跨任务迁移。

使用方法

使用该数据集时，用户可直接从HuggingFace仓库下载各文件，并按OmniGene-4论文（Methods §4.3）中描述的混合比例进行加载。DNA、蛋白质与OpenWebText文件以1:1:1比例构成主要预训练批次，而PDB氨基酸序列与3Di序列需配对输入，用于多任务学习中的结构分类头。DSSP标签文件则作为辅助监督信号参与目标函数计算。所有文件均为纯文本格式（FASTA或逐行文本），可通过标准数据加载器或HuggingFace Datasets库直接读取，适用于基于transformer架构的因果语言建模训练流程。

背景与挑战

背景概述

OmniGene-4 CPT Corpus是由研究者Liang Wang于2026年创建的大规模持续预训练语料库，旨在支持OmniGene-4这一统一生物语言混合专家（MoE）模型的训练。该数据集由96GB的DNA序列、蛋白质序列、结构信息及英文文本组成，涵盖了来自公共基因组的DNA序列、UniRef和LucaOne来源的蛋白质序列、PDB数据库的三维结构信息（包括氨基酸序列与Foldseek-3Di序列），以及DSSP二级结构标签。其核心研究问题是实现模态不变的生物语言表征学习，推动跨DNA、蛋白质与结构信息的统一建模。该数据集对生物信息学与自然语言处理的交叉领域产生了深远影响，为通用生物大模型的持续预训练提供了标准化、可复现的数据基础。

当前挑战

该数据集面临的挑战主要体现在两方面。首先，在领域问题层面，OmniGene-4致力于解决生物序列多模态异构数据的统一表征难题，需克服DNA、蛋白质与结构信息在序列长度、语法规则与语义空间上的巨大差异，以及预训练与下游任务间的分布偏移。其次，在构建过程中，数据规模达96GB，需平衡各模态数据量以避免训练偏置（如采用1:1:1的混合比例），同时确保蛋白质结构数据（如PDB与DSSP标签）的精确配对与质量过滤。此外，将英文文本作为回放数据引入预训练过程，需协调自然语言与生物序列的联合训练策略，避免模态间干扰。

常用场景

经典使用场景

OmniGene-4 CPT Corpus作为生物信息学领域极具代表性的多模态持续预训练语料库，其经典使用场景聚焦于大规模生物序列语言模型的预训练与能力增强。该数据集巧妙地融合了DNA序列、蛋白质氨基酸序列、蛋白质结构3Di表示、DSSP二级结构标注以及英文文本这五类异构数据，为训练如OmniGene-4这样的混合专家模型提供了统一的语料基础。研究者可藉此构建能够同时理解基因组密码、蛋白质结构与自然语言语义的通用生物语言模型，打破了传统单模态预训练的藩篱。

实际应用

在实际应用层面，OmniGene-4 CPT Corpus赋能了生物医学领域多种高价值场景的落地。例如，利用该语料训练的模型可直接用于蛋白质结构与功能预测的自动化流水线，帮助研究人员快速注释未知蛋白的生物学角色；同时，在DNA序列理解层面，模型可辅助基因组变异解读与疾病关联基因的挖掘。此外，丰富的英文文本语料使模型具备了跨语言知识检索能力，为生物文献的智能问答系统提供了底层支持，显著提升了生物大数据的解析效率。

衍生相关工作

基于这一语料库，学术社区已衍生出一系列影响深远的工作。OmniGene-4模型本身即是该数据集的直接产物，其创新的MoE架构与路由级可解释性分析为后续研究树立了标杆。受此启发，后续工作逐渐聚焦于探索更高效的跨模态持续预训练策略，例如利用3Di表征提升蛋白质结构预测精度，或借助DSSP标签强化二级结构建模。此外，该语料中DNA与蛋白质的联合训练范式也催生了新一代基因组-蛋白质组联合分析框架，推动了生物序列基础模型的生态繁荣。