InstaDeepAI/genomics-long-range-benchmark

基因组学长距离基准（Genomics Long-Range Benchmark，LRB）旨在为基因组语言模型提供一个需要长距离依赖性的生物学相关任务的集合，作为评估工具。该基准包含九个任务，涵盖了从变异效应预测到染色质特征预测等多个方面。每个任务都允许用户通过指定序列长度来调整任务的上下文信息。数据集来源于多个公开的基因组数据库，如GTEx、ClinVar、OMIM等，并经过了详细的数据处理步骤，以确保数据的质量和适用性。

The Genomics Long-Range Benchmark (LRB) aims to compile a set of biologically relevant genomic tasks requiring long-range dependencies, serving as a robust evaluation tool for genomic language models. The benchmark includes nine tasks covering various aspects such as variant effect prediction and chromatin feature prediction. Each task allows users to adjust the context information by specifying the sequence length. The dataset is sourced from multiple publicly available genomic databases, such as GTEx, ClinVar, OMIM, etc., and has undergone detailed data processing steps to ensure data quality and applicability.

原始信息汇总

数据集概述

数据集名称

• 名称: Genomics Long Range Benchmark
• 别名: LRB

数据集目的

• 目的: 编译一组生物学上相关的基因组任务，这些任务需要长距离依赖性，作为评估基因组语言模型的强大工具。

数据集任务

• 任务列表:
  • CAGE Prediction
    • 任务名称: cage_prediction
    • 样本输出: {sequence, labels, chromosome}
    • 训练序列数: 36086
    • 测试序列数: 1922
  • Bulk RNA Expression
    • 任务名称: bulk_rna_expression
    • 样本输出: {sequence, labels, chromosome}
    • 训练序列数: 22827
    • 测试序列数: 990
  • Variant Effect Gene Expression
    • 任务名称: variant_effect_gene_expression
    • 样本输出: {ref sequence, alt sequence, label, tissue, chromosome, distance to nearest TSS}
    • 训练序列数: 89060
    • 测试序列数: 8862

使用示例

python from datasets import load_dataset

sequence_length=2048 task_name = "variant_effect_gene_expression"

dataset = load_dataset( "InstaDeepAI/genomics-long-range-benchmark", task_name=task_name, sequence_length=sequence_length, )

任务详情

1. CAGE Prediction

• 任务类型: 多变量回归
• 输入: 基因组核苷酸序列
• 输出: 根据请求的序列长度变化的长度向量
• 任务参数: sequence_length (必须为128的倍数)
• 数据处理: 从原始的638个CAGE轨迹中选择50个，总大小约7GB
• 评估指标: 平均Pearson相关性跨轨迹，平均Pearson相关性跨基因，R²

2. Bulk RNA Expression

• 任务类型: 多变量回归
• 输入: 围绕CAGE代表转录起始点的基因组核苷酸序列
• 输出: 218个不同组织类型的连续值向量
• 任务参数: sequence_length
• 数据处理: 原始数据来自GTEx，标签经过log(1+x)转换和标准化
• 评估指标: 平均Spearman相关性跨组织，平均Spearman相关性跨基因，R²

3. Variant Effect Gene Expression

• 任务类型: 二分类
• 输入: 围绕SNP的基因组核苷酸序列，参考和替代等位基因，组织类型
• 输出: 二进制值，指示变异是否影响基因表达
• 任务参数: sequence_length
• 数据处理: 数据来自GTEx，标签根据Enformer方法构建
• 评估指标: 准确性，AUROC，AUPRC

搜集汇总

数据集介绍

构建方式

该数据集旨在为基因组语言模型提供一个稳健且高效的评估工具，其构建策略在于整合一系列依赖长程相互作用的生物学任务。为平衡任务复杂度与计算成本，研究者通过下采样或数据集合并等策略进行优化。数据集共包含九项任务，每项任务均通过指定`task_name`参数调用`load_dataset`函数加载。用户可通过传递`sequence_length`参数自由设定序列长度，以提供更丰富的上下文信息。数据来源涵盖GTEx、ClinVar、OMIM、FANTOM5、ENCODE、Roadmap Epigenomics及SCREEN等权威数据库，并借鉴了Enformer、GPN-MSA、Basenji、ExPecto及DeepSea等研究的处理流程，确保了数据的高质量和生物学相关性。

特点

该数据集的核心特点在于其多样化的任务类型与灵活的配置。九项任务覆盖了单核苷酸多态性分类、回归分析及多标签分类等机器学习范式，具体包括因果eQTL变异效应、致病性变异预测、CAGE表达预测、Bulk RNA表达预测、染色质特征预测及调控元件识别等。每项任务均提供详细的样本输出结构、训练/测试集划分及染色体分配。用户可自定义序列长度，但需注意过长序列可能导致数据集规模缩减。此外，部分任务提供`subset`参数以支持对大规模数据集进行子集采样，便于快速实验与资源受限场景下的使用。

使用方法

使用方法简洁直观，通过HuggingFace的`datasets`库即可加载。用户需先导入`load_dataset`函数，然后指定任务名称（如`variant_effect_causal_eqtl`）和期望的序列长度（如`sequence_length=2048`）。对于部分任务，可通过`subset=True`参数启用子集模式以处理大规模数据。加载后的数据集可直接用于模型训练或评估，其输出格式因任务而异，例如分类任务返回二进制标签，回归任务返回连续值向量。建议用户参考各任务的详细文档，以了解特定参数（如`sequence_length`需为128的倍数）及数据预处理细节，从而高效开展实验。

背景与挑战

背景概述

随着基因组学与深度学习的深度融合，长程依赖关系在解析基因调控、变异致病性等复杂生物学问题中扮演着日益关键的角色。然而，现有基准测试多聚焦于短序列任务，难以充分评估基因组语言模型对远距离相互作用模式的捕获能力。为此，InstaDeep团队于近年联合多方研究者推出了Genomics Long-Range Benchmark（LRB），旨在构建一套涵盖变异效应、染色质特征、基因表达及调控元件预测等九项任务的标准化评估体系。该基准依托GTEx、ClinVar、ENCODE、FANTOM5等权威公共数据库，通过精心设计的序列长度可调机制与数据下采样策略，在保持任务生物学相关性的同时兼顾计算效率，为基因组语言模型的鲁棒性验证提供了重要工具，显著推动了该领域从短序列分析向长程依赖建模的范式转变。

当前挑战

该基准所面临的挑战主要源于两个层面。在领域问题层面，基因组长程依赖任务要求模型能够捕捉从数千到数十万碱基对范围内的调控逻辑，例如预测远端增强子对启动子的激活效应或解析复杂变异位点的致病性，这对现有基于局部上下文的自注意力机制构成了根本性考验。在构建过程层面，数据集整合面临多重困难：不同来源的标签（如ClinVar与gnomAD的致病性标注）存在异质性，需通过严格的后验概率阈值进行筛选；序列长度的增大导致有效样本数急剧减少，且需处理染色体边界越界问题；此外，大规模数据（如染色质特征任务中的数百万样本）在存储与加载时对用户友好性提出了挑战，促使团队采用随机子采样与分块策略来平衡规模与可用性。

常用场景

经典使用场景

Genomics Long-Range Benchmark 数据集的核心经典使用场景在于评估和推动基因组语言模型对长程序列依赖关系的建模能力。该数据集精心整合了九项具有明确生物学意义的任务，涵盖变异效应预测（如因果eQTL分类、致病性变异识别）、基因表达调控推断（如CAGE信号预测、Bulk RNA表达量回归）、染色质特征解析（如组蛋白修饰与DNA可及性分类）以及顺式调控元件（启动子与增强子）的识别。这些任务共同要求模型能够捕捉跨越数千乃至数十万碱基对的远距离相互作用，从而为衡量模型在复杂基因组语境下的表征学习能力提供标准化、多维度的评测平台。

衍生相关工作

该数据集的发布催生了一系列具有影响力的后续工作。一方面，它被广泛用作基因组基础模型（如DNABERT-2、Nucleotide Transformer、HyenaDNA）的标准化评测基准，推动了长程依赖架构的改进与创新。另一方面，研究者基于其任务框架衍生出新的方法论，例如利用对比学习增强变异效应预测的鲁棒性，或通过多任务联合训练提升对调控元件识别的精度。此外，该数据集还启发了针对特定物种（如植物、微生物）的长程基因组基准的构建，将评测范式从人类基因组拓展至更广泛的演化生物学领域，从而深化了对基因组语言通用性的理解。

数据集最近研究

最新研究方向

在基因组学与深度学习交叉领域，长距离依赖建模已成为前沿热点。InstaDeepAI推出的Genomics Long-Range Benchmark直击当前基因组语言模型的核心挑战——如何有效捕获跨越数千碱基的远距离调控相互作用。该基准整合了来自GTEx、ClinVar、ENCODE等权威资源的九项生物任务，涵盖变异效应预测、染色质特征识别及基因表达定量等关键方向，其中eQTL因果变异分类与致病性预测直接关联精准医学中的风险位点解读。通过支持任意序列长度配置，该数据集为评估模型在长上下文下的泛化能力提供了标准化平台，尤其适用于Transformer架构与状态空间模型在基因组领域的性能对比。这一基准的发布不仅填补了长程基因组评测的空白，更推动了从序列到表型的可解释预测研究，为理解非编码调控元件的功能机制奠定了数据基础。