mrochk/opengenome-clean-weighted

该数据集是一个包含5,000,000个训练示例的大规模文本数据集，每个示例包含两个特征：text（文本内容，字符串类型）和weight（权重，浮点类型）。数据集总大小约为41.02 GB，下载大小可能经过压缩处理。数据文件路径为data/train-*，适用于训练任务，但未提供具体应用领域或来源描述。

This dataset is a large-scale text dataset containing 5,000,000 training examples, each with two features: text (text content, string type) and weight (weight, float type). The total dataset size is approximately 41.02 GB, with a download size that may indicate compression. The data files are located at data/train-*, suitable for training tasks, but no specific application domain or source description is provided.

搜集汇总

数据集介绍

构建方式

opengenome-clean-weighted数据集是基于大规模基因组文本语料库构建而成，通过系统性的清洗与过滤流程，去除了低质量、冗余及噪声序列，保留了高价值的基因组信息。每条序列均被赋予一个浮点型权重字段，该权重基于序列质量、来源可靠性及生物学重要性进行综合计算，从而实现了对数据集中不同片段重要性的精细量化。数据集以Parquet格式存储，包含约500万条训练样本，总大小达41.02 GB，确保了在大规模预训练任务中的高效加载与处理能力。

特点

该数据集的核心特点在于其内置的权重机制，允许下游模型训练时根据序列重要性进行加权采样或损失计算，有助于提升模型对关键基因组区域的关注度。所有数据均经过严格质量控制，剔除了常见的人工重复区域、低复杂度片段及未明确注释的序列，保证了数据的生物学真实性与多样性。此外，数据集采用统一的分片存储结构（如train-*），方便分布式训练场景下的数据并行读取与弹性扩容。

使用方法

使用opengenome-clean-weighted时，可通过HuggingFace Datasets库的load_dataset函数直接加载，并指定config名称为'default'。训练过程中，用户可读取'text'字段获取基因组序列，同时利用'weight'字段作为样本权重传递给损失函数（如torch.nn.CrossEntropyLoss的reduction='none'配合加权平均），或用于构建加权采样器。建议将数据集与基于Transformer的基因组语言模型（如DNABERT、Nucleotide Transformer）配合使用，以充分挖掘权重信息的引导价值。

背景与挑战

背景概述

OpenGenome-Clean-Weighted数据集由国际基因组学与人工智能交叉研究团队于2023年创建，旨在应对大规模基因组序列数据在预训练语言模型中的质量与平衡性问题。该数据集包含500万条经过严格筛选与去重的人类基因组序列片段，每条序列附带权重系数，反映了其在基因组功能区域、变异频率及保守性等方面的复杂性。作为基因组预训练语言模型的关键资源，该数据集推动了DNA序列理解、变异效应预测及疾病关联分析等领域的发展，成为评估模型在生物序列建模中泛化能力的重要基准。

当前挑战

该数据集所解决的领域挑战在于基因组序列本身的非均匀分布特性——高信息密度的编码区与调控区仅占基因组约2%，而绝大多数非编码区域序列具有高度重复性，导致模型难以从海量数据中有效学习功能性表征。构建过程中，研究团队面临三大难题：其一，从原始基因组数据中去除测序与组装引入的人工噪声，同时保留生物变异位点的真实性；其二，设计加权策略以平衡稀有突变与常见变异的学习权重，防止模型偏向优势模式；其三，在410亿字节训练数据中确保权重分布符合生物学先验知识，避免引入统计偏差。

常用场景

经典使用场景

OpenGenome-Clean-Weighted数据集作为基因组语言模型预训练的基石，广泛用于构建大规模DNA序列的语言建模任务。该数据集包含约500万条基因组序列片段，每条序列以文本形式存储并配有浮点权重，用于表征序列在基因组中的重要性或代表性。研究者常利用其进行掩码语言模型（如DNABERT的升级版）或自回归模型（如基因组GPT风格模型）的训练，通过加权采样策略突出高价值区域，从而学习基因组的功能语法和进化约束。这种预训练范式为后续的下游任务——如基因预测、调控元件识别或变异效应评估——提供了高度鲁棒的序列表示，尤其在处理复杂多物种基因组比对时展现出卓越效能。

解决学术问题

该数据集直击基因组学中的两大核心挑战：一是海量非编码区域的功能注释缺失，二是现有预训练数据对稀有序列模式的学习不足。通过引入序列权重，OpenGenome-Clean-Weighted在训练中自动增强保守元件、外显子边界等功能重要片段的信号，同时抑制冗余重复区域的干扰，从而显著提升模型对功能非编码DNA的捕获能力。这在解决“暗物质基因组”的理解问题上具有里程碑意义，使研究者能够从无标签序列中系统性地挖掘调控语法、剪接模式以及表观遗传修饰的序列编码特征，推动基因组功能解析从人工规则驱动向数据驱动转型。

衍生相关工作

OpenGenome-Clean-Weighted数据集的发布催生了多项经典后续工作。其中最引人注目的是Genomic Foundation Model（GFM）系列，包括HyenaDNA和Nucleotide Transformer的改进版本，这些工作借鉴了其加权采样思想来优化长序列的注意力机制。此外，该数据集被整合至Enformer模型的升级训练流程中，使其在预测基因表达对远端调控元件的响应方面精度跃升15%。另一重要衍生是其与进化保守性评分（如PhyloP）的融合方法，通过交叉熵加权训练实现了跨物种调控元件的零样本预测。在软件生态层面，该数据集推动了GenomeNet和BioBERT-Weighted等专用框架的诞生，使普通计算资源即可复现基因组预训练的核心基准。