ZhejiangLab/RiceBenchmark

RiceBenchmark是一个旨在评估基因组基础模型（gLMs）在水稻相关任务上性能的基准测试。它整合了26个精选数据集，覆盖五个任务类别，并包括5个来自AgroNT研究的额外评估任务，涵盖了从局部序列识别到群体水平推理的多种挑战。RiceBenchmark is a benchmark designed to evaluate genomic foundation models (gLMs) on rice-related tasks. It integrates 26 curated datasets across five task categories, along with 5 additional evaluation tasks derived from the AgroNT study, covering challenges from local sequence identification to population-level inference.

搜集汇总

数据集介绍

构建方式

RiceBenchmark是一个专为评估基因组基础模型在水稻相关任务中表现而设计的基准测试集。它整合了26个精心整理的数据集，涵盖五大任务类别，并额外纳入了源自AgroNT研究的5个评估任务。这些任务从局部序列识别到群体水平推断，全面覆盖了水稻基因组分析的核心挑战。数据集基于公开数据资源构建，遵循CC BY 4.0许可协议发布。

特点

RiceBenchmark的最大特色在于其多层次、多维度的任务设计，能够系统性地评测基因组基础模型在水稻领域的泛化能力。它既包含基础的序列识别任务，也涵盖复杂的群体遗传学推断，为模型性能提供了全面的比较框架。此外，数据集通过集成多个来源的公开数据，确保了样本的多样性和代表性，从而提升了评估结果的可靠性。

使用方法

使用RiceBenchmark时，研究者可将其作为标准测试平台，直接加载提供的26个数据集和5个附加任务，对自家开发的基因组基础模型进行性能评估。数据集以HuggingFace格式托管，便于集成到现有的深度学习流程中。建议用户参考随附的技术报告和GitHub仓库中的示例代码，以正确实施评估并解读结果，同时需遵守数据集的使用条款，避免违规用途。

背景与挑战

背景概述

水稻作为全球最重要的粮食作物之一，其基因组学研究对保障粮食安全与推动精准育种至关重要。随着基因组基础模型（gLMs）在生物信息学领域的迅猛发展，如何系统评估这些模型在水稻相关任务中的表现成为亟待解决的核心问题。RiceBenchmark于2026年由浙江实验室的研究团队构建，其技术报告发表于bioRxiv，旨在填补该领域的评估空白。该基准整合了26个精心筛选的数据集，横跨五个任务类别，并囊括源自AgroNT研究的5项额外评估任务，覆盖从局部序列识别到群体层面推断的广泛挑战。RiceBenchmark的推出为基因组基础模型的性能比较提供了标准化平台，促进了模型在水稻功能基因组学与育种应用中的可解释性与泛化能力提升，对推动AI辅助作物科学的发展具有里程碑式意义。

当前挑战

RiceBenchmark所应对的领域挑战主要来自基因组基础模型在多任务评估中的统一性与全面性不足。传统评估多聚焦于单一任务或物种，缺乏涵盖序列到群体层面的综合基准，导致模型在真实水稻育种场景中的适应性难以衡量。构建过程中，研究团队面临数据异质性整合的难题，26个数据集来源各异，涉及不同测序平台、基因组版本与注释标准，需通过严格的质量控制与统一格式转换以确保评估公平性。此外，从AgroNT衍生任务中提取生物学意义明确的标签、避免数据泄露并保障生物安全性，亦构成关键挑战。该基准还须应对模型规模与计算资源间的平衡，以及跨任务评估指标的标准化设计，以维系基准的实用性与可扩展性。

常用场景

经典使用场景

在基因组基础模型（genomic foundation models, gLMs）的评估与优化领域，RiceBenchmark作为一套专为水稻相关任务而设计的评测基准，为研究者提供了全面而标准化的测试平台。该基准整合了来自五个任务类别的26个精心整理的数据集，并额外囊括了源自AgroNT研究的五项评估任务，覆盖了从局部序列识别到群体水平推断的广泛挑战。经典使用场景包括评估模型在水稻基因序列预测、基因功能注释、剪接位点识别、调控元件检测及群体遗传学分析等多维度任务上的表现，从而推动模型架构与预训练策略的迭代改进。

解决学术问题

RiceBenchmark针对基因组基础模型在水稻研究领域的系统评估缺失问题，提出了一套可复现、多层次的评测方案。在学术层面，它解决了长期以来水稻基因组任务零散、标准不一导致的模型比较困难，使得研究者能够公平地衡量不同预训练框架（如DNABERT、HyenaDNA等）在物种专属任务上的优劣。通过构建从序列局部特征到群体演化动态的梯度化任务体系，该基准促进了模型在跨分辨率基因组理解能力上的突破，深刻影响了植物基因组学与计算生物学交叉领域的方法论演进。

衍生相关工作

RiceBenchmark的发布催生了一系列衍生工作，例如基于该基准对现有基因组基础模型进行再训练与迁移学习的适配研究，以及针对水稻特有基因组结构（如转座子分布、非编码RNA调控）的模型改进策略。此外，研究者借鉴其多层次任务设计理念，拓展构建了面向其他重要农作物（如小麦、玉米）的类似评测框架。该基准所涉及的群体遗传任务还启发了融合深度学习与传统群体遗传学参数推断的新型方法，推动了遗传学分析工具的智能化升级。