songlab/TraitGym

TraitGym数据集用于对DNA序列模型在人类遗传学中因果调控变异预测的性能进行基准测试。该数据集包含了不同的配置，每个配置都有用于测试的具体数据文件。数据集包括各种子集、特征和预测模型，以及用于评估的指标。该数据集与生物学和基因组学领域相关，专注于DNA变异和性状。

The TraitGym dataset is used for benchmarking DNA sequence models in the context of causal regulatory variant prediction in human genetics. The dataset includes various configurations, each with specific data files for testing. It consists of different subsets, features, and prediction models, along with metrics for evaluation. The dataset is related to the fields of biology and genomics, focusing on DNA variants and traits.

搜集汇总

数据集介绍

构建方式

TraitGym数据集由songlab团队构建，旨在系统评估DNA序列模型在人类遗传学中因果调控变异预测的性能。该数据集基于公开的基因组学数据，精心筛选了与孟德尔性状和复杂性状相关的变异位点。构建过程中，研究者将变异分为四个配置：mendelian_traits和complex_traits分别对应匹配后的测试集，而mendelian_traits_full和complex_traits_full则包含全部变异。每个配置以Parquet格式存储，确保高效的数据加载与处理。通过整合多种模型特征和预测结果，TraitGym提供了一个标准化的基准测试框架。

特点

TraitGym数据集的核心特点在于其多层次的结构化设计，涵盖了从原始变异数据到模型特征、预测结果及评估指标的完整流水线。数据集支持多种子集划分，如特定功能区域（如3_prime_UTR_variant）或表型类别（如BMI），便于细粒度分析。此外，它集成了来自不同模型（如GPN-MSA、Borzoi）的零样本预测分数和逻辑回归特征，并提供了加权平均AUPRC等主流评估指标。这种模块化与可扩展性使其成为验证和比较因果变异预测模型的理想平台。

使用方法

用户可通过HuggingFace的datasets库便捷加载TraitGym，例如使用load_dataset('songlab/TraitGym', 'mendelian_traits', split='test')获取测试集。数据集提供Python notebook示例，可在Google Colab上快速运行变异效应预测。对于自定义模型评估，用户需将形状为n_variants×n_features的特征数据框存放至指定路径，并通过Snakemake工作流调用零样本评估或逻辑回归训练命令。工作流支持灵活配置特征集和评估指标，确保复现与扩展的便利性。

背景与挑战

背景概述

在人类遗传学领域，准确预测因果调控变异对于理解复杂性状与孟德尔疾病的分子机制至关重要。TraitGym数据集由Song Lab团队于2025年创建，旨在系统评估DNA序列模型在因果调控变异预测中的表现。该数据集整合了孟德尔性状与复杂性状的遗传变异信息，覆盖了从3'UTR变异到疾病相关位点等多种生物学场景，为比较不同基因组语言模型（如GPN-MSA、Borzoi）的预测能力提供了标准化基准。通过发布在HuggingFace平台上的排行榜，TraitGym不仅推动了模型性能的透明化比较，还为后续研究提供了可复现的评估框架，对人类遗传学与计算生物学交叉领域产生了深远影响。

当前挑战

TraitGym数据集所解决的领域挑战在于，现有DNA序列模型在因果调控变异预测中缺乏统一的评估标准，导致模型间的性能比较困难且结果难以复现。构建过程中，研究团队面临多重挑战：首先，需要从海量基因组数据中筛选并验证具有生物学意义的因果变异，确保数据集的高质量与代表性；其次，不同模型的特征提取方式（如零样本对数似然比与逻辑回归特征）差异显著，需设计兼容的评估指标（如加权平均AUPRC）以公平比较；此外，为涵盖孟德尔与复杂性状的多样性，数据集的构建需平衡变异类型的广度与样本的统计效力，这要求精细的匹配策略与大规模计算资源支持。

常用场景

经典使用场景

TraitGym数据集专为评估DNA序列模型在因果调控变异预测中的表现而设计，其核心应用场景涵盖孟德尔性状与复杂性状的变异效应预测。通过提供标准化的测试集和统一的评估指标（如AUPRC），研究者可利用该数据集对各类基因组语言模型（gLM）进行零样本推理或逻辑回归微调，从而系统性地比较模型在识别致病性调控变异上的能力。该数据集尤其适用于验证模型是否能够从非编码区域中精准定位影响表型的因果变异，是连接基因组序列与表型关联研究的标杆性基准。

衍生相关工作

围绕TraitGym已衍生出一系列重要工作，包括对多种基因组语言模型（如GPN-MSA、Borzoi）的系统性基准测试，以及融合不同模型特征的逻辑回归方法（如CADD+GPN-MSA+Borzoi）。该数据集促进了零样本预测与线性探针两种评估范式的标准化，催生了跨模型集成策略的研究。此外，其配套的Snakemake工作流和在线排行榜为后续研究提供了可扩展的计算框架，鼓励社区贡献新的模型特征与评估指标，从而持续推动因果调控变异预测领域的方法学创新与透明度提升。

数据集最近研究

最新研究方向

在人类遗传学与基因组学的前沿领域，因果调控变异预测是解析复杂性状与孟德尔疾病分子机制的核心挑战。TraitGym数据集应运而生，为评估DNA序列模型在因果调控变异预测中的表现提供了系统化基准。该数据集聚焦于孟德尔性状与复杂性状两大方向，整合了包括GPN-MSA、Borzoi等前沿模型的特征与预测结果，并引入AUPRC等关键指标进行多维度评估。当前研究热点集中于利用该基准比较零样本推理与逻辑回归微调策略的效能，探索模型在3'UTR变异、疾病相关位点及BMI等特定子集上的泛化能力。TraitGym的发布不仅推动了基因组语言模型在精准医学中的应用验证，也为揭示非编码区调控变异的功能意义提供了标准化评估框架，其影响力正逐步渗透至遗传咨询与药物靶点发现等关键领域。