InstaDeepAI/plant-multi-species-genomes

Plant Multi Species数据集是通过解析NCBI上的植物基因组构建的，包含48种不同植物的基因组序列。每个序列长度为6,200个碱基对，用于AgroNT模型的预训练。数据集包含三个分割：训练集、验证集和测试集。每个数据实例包括序列字符串、序列描述字符串以及序列的起始和结束位置。

原始信息汇总

数据集概述

名称: Plant Multi Species Genomes

标签: DNA, Genomics, Nucleotide

构建方式: 通过解析NCBI上可用的植物基因组数据构建。

包含物种数量: 48种不同植物物种

数据集用途: 作为AgroNT模型的预训练语料库。

序列特性: 每个序列长度为6,200碱基对。序列间存在重叠，允许模型在每个epoch中从不同位置开始处理序列，以覆盖整个染色体。

数据实例结构

• sequence: 包含DNA序列的字符串
• description: 包含物种信息及NCBI ID的字符串
• start_pos: 序列起始位置的整数索引
• end_pos: 序列结束位置的整数索引

数据分割

• 训练集
• 验证集
• 测试集

引用信息

bibtex @article{mendoza2023foundational, title={A Foundational Large Language Model for Edible Plant Genomes}, author={Mendoza-Revilla, Javier and Trop, Evan and Gonzalez, Liam and Roller, Masa and Dalla-Torre, Hugo and de Almeida, Bernardo P and Richard, Guillaume and Caton, Jonathan and Lopez Carranza, Nicolas and Skwark, Marcin and others}, journal={bioRxiv}, pages={2023--10}, year={2023}, publisher={Cold Spring Harbor Laboratory} }

搜集汇总

数据集介绍

构建方式

该数据集源自NCBI公开数据库，通过系统性地解析48种植物基因组序列构建而成。每条序列长度为6200个碱基对，且采用滑动窗口策略确保染色体全覆盖——相邻序列间存在100个碱基的重叠区域，前一条序列的末尾与后一条序列的开头共享相同片段。这种设计使得在训练时，模型能够从每条序列的前200个碱基中随机选取起始点进行分词，从而在不同训练周期中为同一位置生成多样化的token表征，增强模型对基因组结构的理解能力。

特点

数据集覆盖48个植物物种，包含完整的染色体级基因组信息，每条样本均以字符串形式存储DNA序列，同时附带物种描述、NCBI标识符以及精确的核苷酸索引范围（起始与终止位置）。这种结构化设计便于研究人员快速定位特定基因组区域。此外，数据集预划分为训练、验证和测试三个子集，可直接用于监督学习任务，其序列长度可灵活调整，支持用户通过参数自定义分块大小。

使用方法

数据集可通过HuggingFace Datasets库直接加载，默认分块长度为6000碱基对，用户亦可指定任意长度（如10000碱基对）。加载后，每个样本包含'sequence'（DNA序列字符串）、'description'（物种与NCBI ID）、'start_pos'（起始索引）和'end_pos'（终止索引）四个字段。该数据集专为预训练基因组语言模型（如AgroNT）设计，适用于下游任务如基因功能预测、序列分类或进化分析。

背景与挑战

背景概述

随着基因组学研究的深入，植物基因组数据的积累为理解物种进化、农业性状改良及生物多样性保护提供了关键资源。然而，传统分析方法在处理大规模、多物种的基因组序列时面临效率瓶颈。为此，InstaDeepAI团队于2023年发布了Plant Multi Species Genomes数据集，旨在为可食用植物基因组的基础大语言模型（AgroNT）提供预训练语料。该数据集由Javier Mendoza-Revilla、Evan Trop等研究人员主导，整合了来自NCBI的48种植物物种的基因组序列，每条序列长度为6200碱基对，并采用滑动窗口策略确保染色体全覆盖。这一开创性工作不仅推动了植物基因组学与自然语言处理技术的交叉融合，还为后续作物基因组建模、基因功能预测等研究奠定了数据基础，显著提升了模型对植物基因组序列的表示学习能力。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，如何从高度重复且非编码区域占比庞大的植物基因组中提取有效特征，以支持下游任务如基因注释、调控元件识别及表型预测，是亟待突破的难点。其次，在构建过程中，多物种基因组数据的整合面临序列异质性、组装质量差异及注释不一致等障碍，需通过标准化处理确保数据一致性。此外，长序列（6200bp）的划分策略需平衡计算效率与生物学语义完整性，而滑动窗口方法虽覆盖全染色体，却可能引入序列冗余，影响模型训练时的泛化能力。最后，数据集的物种选择虽涵盖主要可食用植物，但代表性仍有限，亟需扩展至更多野生近缘种及经济作物，以提升模型的跨物种迁移能力。

常用场景

经典使用场景

在植物基因组学与计算生物学交叉领域，InstaDeepAI/plant-multi-species-genomes 数据集被广泛用作大规模预训练语料，尤其适用于基于Transformer架构的DNA语言模型。研究者通常将长达6200碱基对的连续基因组序列输入模型，利用其滑动窗口设计实现全染色体覆盖，从而捕捉跨物种的核苷酸模式与进化保守性。该数据集涵盖48种可食用植物物种，为植物基因组表征学习提供了丰富的多物种训练素材，成为诸如AgroNT等基础模型预训练的核心数据支柱。

实际应用

在实际应用中，该数据集支撑了作物育种与农业生物技术中的关键任务。基于该数据集预训练的模型可高效完成基因注释、变异效应预测、顺式调控元件鉴定等任务，加速优良等位基因的挖掘与功能解析。例如，育种人员可利用模型输出的嵌入表示快速筛选与抗病性或产量相关的候选基因，减少传统湿实验筛选成本。此外，数据集的高通量特性使其适用于跨物种比较基因组分析，助力揭示重要农艺性状的遗传基础，为精准育种与基因编辑靶点设计提供计算指导。

衍生相关工作

该数据集直接催生了AgroNT这一开创性植物基因组基础模型，后者在多个下游任务中展现了卓越性能。后续研究在此基础上进一步探索了基于对比学习的跨物种DNA表征方法，以及结合植物表型数据的多模态融合模型。此外，该数据集也被用于训练面向非模式植物的基因结构预测工具，推动了从模式植物到作物基因组研究的范式迁移。相关工作还涉及利用该数据集进行迁移学习，验证了预训练模型在玉米、水稻等主要作物基因功能预测中的有效性，为农业基因组学的大模型时代奠定了方法论基础。