HuggingFaceBio/genomic-niah

Genomic-NIAH是一个用于评估基因组语言模型长上下文检索能力的基准测试数据集。该数据集通过将随机的(KEY, VALUE) DNA对（每个长度为24个碱基对）插入真实的基因组序列（称为“haystack”）中，要求模型在给定haystack和KEY的情况下检索出对应的VALUE。由于KEY和VALUE与周围序列无关，模型必须通过长距离检索才能成功完成任务，从而将“模型是否使用远端上下文”这一抽象问题转化为具体的生成任务，并可通过每个示例的准确率进行量化评估。数据集包含4个不同难度的任务：普通检索（niah）以及三个近重复变体（niah_neardup_d4、niah_neardup_d2、niah_neardup_d1），其中近重复变体通过引入与目标KEY仅有1、2或4个碱基差异的干扰对来增加检索难度。此外，数据集提供6种上下文长度（4k、8k、16k、32k、64k、128k 6-mer tokens，分别对应约24,000至786,000个DNA碱基对），形成4×6的配置网格。每个配置包含500个示例，按5种插入深度（10%、25%、50%、75%、90%）和4个真核生物界（动物界、真菌界、植物界、原生生物界）进行分层采样。数据集中每个示例提供prompt（模型输入）、value（预期响应）、negative_value（用于似然判别）等字段，并支持两种评估指标：生成式精确匹配（gen_exact_match）和似然正确性（ll_correct）。数据集基于OpenGenome2的真实基因组序列构建，确保haystack为真实序列而非随机填充，以保持其诊断价值。

Genomic-NIAH is a long-context retrieval benchmark for genomic language models. It measures whether a DNA model actually uses its long context by planting a random (KEY, VALUE) DNA pair inside a real-genome haystack and asking the model to recover VALUE given the haystack followed by KEY. Because both KEY and VALUE are uncorrelated with the surrounding sequence, the only way to succeed is to retrieve the planted pair at long range, turning the abstract question does the model use distal context into a concrete generative task with a per-example accuracy. The benchmark provides 4 tasks of varying difficulty (plain retrieval and three near-duplicate variants) and 24 sub-configurations on a 4 × 6 grid of task difficulty × context length (from 4k to 128k 6-mer tokens, approximately 24,000 to 786,000 DNA base pairs). Each sub-configuration contains 500 examples, stratified across five needle depths and four eukaryotic kingdoms. The dataset includes fields such as prompt, value, and negative_value, and supports two evaluation metrics: gen_exact_match (strict generative retrieval accuracy) and ll_correct (likelihood-based discrimination). It is built from real genomic sequences in OpenGenome2, ensuring haystacks are authentic without random padding.

搜集汇总

数据集介绍

构建方式

Genomic-NIAH基准测试集的构建过程严谨而精巧，旨在评估基因组语言模型对长序列上下文的真实利用能力。每个测试样本通过在真实基因组序列中植入一对随机生成的24碱基对（bp）的“钥匙-值”（KEY-VALUE）DNA序列作为“针”，而将整个基因组序列作为“干草堆”。模型需要根据给定的“钥匙”从“干草堆”中精准检索出对应的“值”。为确保评估的全面性，构建过程采用了系统化的采样策略，涵盖了从4k到128k个6-mer标记（约24,000至786,000 bp）的六种上下文长度，并在四种真核生物界（动物、真菌、植物、原生生物）中均匀抽取样本。此外，为模拟真实基因组中存在的相似但不相同的基序，引入了三种不同难度等级的近重复干扰任务，其中干扰钥匙的核苷酸差异分别为1、2和4个碱基对。整个基准测试包含24个子配置，每个配置包含500个测试示例，总计12,000个检索任务。

特点

该数据集最显著的特征是其对长上下文检索能力的精细诊断能力。通过“针在干草堆”这一经典范式，它能够直接量化模型在超长序列中定位并提取特定信息的能力。其设计实现了多维度的难度梯度：从简单的单次检索到具有不同相似度近重复干扰的复杂场景，再到跨越不同上下文长度的挑战，全面评估模型的注意力模式与区分能力。尤其是在近重复变体中，干扰钥匙与目标钥匙的序列相似度高达83%至96%，这对模型在真实基因组中辨识高度相似重复序列的能力提出了严苛要求。此外，数据集巧妙避开了使用随机碱基填充，而是采用来自OpenGenome2数据库的真实基因组序列，确保了评估结果对生物学应用具有实际参考价值。对于长上下文（≥32k标记），更是通过拼接同一染色体记录中的无歧义ACGT序列来构建“干草堆”，维持了染色体的局部特性。

使用方法

使用Genomic-NIAH基准测试集进行模型评估具有明确的流程。首先，用户可通过HuggingFace的`datasets`库直接加载所需的子配置，例如使用`load_dataset("hf-carbon/genomic-niah", "niah_16k")`加载16k标记的简单检索任务。每个样本已包含可直接输入模型的完整`prompt`字段，预期输出则存储在`value`字段中。评估时，推荐采用`gen_exact_match`作为核心指标，即通过贪婪解码并在下一个标记的logit空间限制为DNA标记，只有生成的VALUE与真实值完全匹配才算正确。此外，`ll_correct`可作为补充指标，通过比较正负序列的对数似然来判断模型是否更偏好正确答案，用于诊断检索失败的具体原因。官方评估脚本位于Carbon仓库的`evaluation/genome_niah_eval.py`，支持多种推理后端，便于进行可重复的基准测试。

背景与挑战

背景概述

基因组语言模型（Genomic Language Models）的快速发展为解析DNA序列中蕴含的复杂生物学信息开辟了新途径，然而，评估这些模型是否真正利用其长上下文能力进行远距离信息检索，仍是该领域亟待解决的关键问题。由Hugging Face Carbon团队于2026年创建的Genomic-NIAH基准测试，正是为精准诊断这一能力而生。该基准受自然语言处理中Needle In A Haystack和RULER测试的启发，将抽象的“模型是否使用远端上下文”问题转化为具体的生成式检索任务：在真实基因组序列的“草堆”中嵌入随机的DNA键值对，要求模型根据给定的键恢复对应的值。该数据集涵盖了从4k到128k token（约2.4万至78.6万碱基对）的六种上下文长度，并设计了四种难度递进的任务变体，包括简单检索和三种近重复干扰项检索，全面考验模型在不同序列相似度下的细粒度辨别能力。通过对24个配置、总计12000个检索样本的精心设计，Genomic-NIAH为评估和推动基因组语言模型的长上下文检索能力提供了重要标尺。

当前挑战

Genomic-NIAH基准测试旨在解决的领域核心挑战是，验证基因组语言模型是否真正利用其宣称的长上下文窗口来检索远端序列信息，而不仅仅是依赖局部统计模式或短程依赖。这一问题的本质在于，真实的基因组序列充斥着大量相似但不完全相同的重复基序，模型需要具备在相似性极高的干扰序列中精确匹配并检索目标DNA片段的能力。具体而言，数据集的构建过程亦面临严峻挑战：首先，必须确保“草堆”序列的真实性，而非使用随机填充，因此对于超过16k token的长上下文，需要将同一基因组记录中的连续ACGT片段拼接起来，以保持染色体的局部连续性，这要求处理大量来自OpenGenome2数据集的真实真核生物基因组。其次，近重复干扰键的生成需要精准控制碱基差异度（如1、2或4个碱基差异），以形成难度梯度，同时确保干扰序列与目标键在基因组中布局的合理性，避免引入位置偏差。最后，由于DNA数据不包含自然语言中的空格或标点，键值对的嵌入位置必须精确定位在指定的深度百分比处，这对数据构建的算法精度提出了极高要求。

常用场景

经典使用场景

Genomic-NIAH是专为基因组语言模型设计的长程检索基准测试，其经典使用场景在于评估DNA模型是否真正具备利用长上下文信息的能力。通过在真实基因组序列构成的“干草堆”中嵌入随机生成的（KEY, VALUE）DNA配对，并基于给定的KEY检索对应的VALUE，该基准将抽象的“模型能否感知远端上下文”问题转化为具体的生成式任务。任务难度从简单到极具挑战性，涵盖了4k至128k token的上下文长度以及四种真核生物界别的样本，能够系统性地检验模型在不同深度和序列相似度下的检索精准度。

衍生相关工作

Genomic-NIAH的诞生深受自然语言处理领域开创性工作NIAH和RULER的启发，并针对基因组数据的独特性进行了创新适配。其衍生工作主要体现在推动了基因组语言模型长上下文评估体系的建立：一方面，研究者基于该基准展开了对扩展位置编码方法（如YaRN）有效性的实证分析；另一方面，其多难度任务设计成为后续开发更复杂基因组评估套件（如结合结构化基因组特征或多种检索条件）的参考范本。这一基准不仅自身成为Carbon系列模型的关键评测组件，也为基因组AI社区提供了可复现、可比较的标准化评估方法论。

数据集最近研究

最新研究方向

Genomic-NIAH作为专门用于基因组语言模型长上下文检索能力的诊断性基准测试，其前沿研究方向聚焦于探索和验证DNA模型是否真正具备利用超长上下文信息执行精确序列检索的能力。该基准通过对真实基因组序列进行长度从4k到128k token（对应约24k至786k碱基对）的系统化分层，并引入接近重复的干扰项任务（如仅存在1个碱基差异的最近似干扰对），模拟了基因组中常见的相似基序鉴别难题，从而精准评估模型在长距离上分辨细微序列差异的鲁棒性。当前前沿研究热点在于利用这一基准推动基因组语言模型上下文扩展技术的突破，例如通过YaRN等位置编码扩展方法使模型在32k原生上下文基础上实现高达约786k碱基对的有效信息检索，同时揭示模型在不同插入深度和干扰物密度下的注意力分布不对称性。Genomic-NIAH的发布为理解长上下文基因组模型的行为特征提供了权威性诊断工具，其设计思想借鉴了NLP领域的RULER测试，但针对DNA序列特性进行了深度定制，在基因组大模型领域构建了首个严格、可控且具有生物学相关性的长距离检索评估标准，对推动精准医学、功能基因组学及进化生物学研究中大模型的实际应用具有里程碑式的意义。