genbio-ai/ProteinGYM-DMS-RAG

ProteinGYM DMS Benchmark是一个针对AIDO.RAG的基准数据集，包含单个替换类型的突变数据。每个数据文件代表一个特定蛋白序列上所有可能的突变，并采用随机交叉验证方案分为五份。标签为0到1之间的连续值，任务分为不同的功能组别。

The ProteinGYM DMS Benchmark is a benchmark dataset for AIDO.RAG, containing data on single substitution mutations. Each data file represents all possible mutations on a specific protein sequence and is divided into five parts using a random cross-validation scheme. The labels are continuous values ranging from 0 to 1, and the tasks are categorized into different functional groups.

搜集汇总

数据集介绍

构建方式

ProteinGYM-DMS-RAG数据集由genbio-ai团队构建，专注于蛋白质深度突变扫描（DMS）的基准测试。该数据集以单氨基酸替换为突变类型，每个任务对应一个特定蛋白质序列上的所有可能突变，并以TSV格式文件存储。数据采用随机交叉验证方案划分，每个任务的数据被随机分为五折，通过`fold_id`列标识折数分配。标签值为0到1之间的连续数值，反映了突变对蛋白质功能的影响程度，任务根据功能类别进行分组。

特点

该数据集的核心特点在于其针对单点突变的高覆盖度与标准化设计，每个TSV文件完整覆盖目标蛋白的单一替换突变空间。连续标签值提供了精细的功能度量，支持回归型预测任务。通过随机五折交叉验证，数据集确保了模型评估的鲁棒性与可重复性。任务按功能分组，便于研究者针对不同生物学功能类别进行针对性分析，从而揭示突变效应的功能依赖性。

使用方法

使用该数据集时，用户可直接加载TSV文件，每行代表一个突变样本，包含序列信息与对应标签。推荐采用回归模型进行训练，以预测突变对蛋白质功能的连续影响值。交叉验证的折划分允许用户按`fold_id`拆分训练集与测试集，或进行全数据训练。数据集可直接与AIDO.RAGProtein框架集成，用于检索增强生成模型的基准测试，具体细节可参考ProteinGYM论文以获取更全面的任务描述与使用指南。

背景与挑战

背景概述

蛋白质工程领域中，定向进化与理性设计依赖于对突变效应的精准预测，而高通量深度突变扫描（DMS）技术为这一目标提供了海量实验数据。在此背景下，GenBio AI团队于2023年发布了ProteinGYM-DMS-RAG基准数据集，旨在为蛋白质语言模型与检索增强生成（RAG）框架提供标准化的评估平台。该数据集以单点替换突变类型为核心，覆盖多种蛋白质序列及其功能类别，通过五折交叉验证划分训练与测试集，为模型泛化能力评估奠定基础。其影响力在于推动了蛋白质功能预测从静态序列分析向动态突变效应建模的转变，尤其为AI驱动的蛋白质设计工具提供了可复现的验证基准，相关研究成果发表于预印本平台bioRxiv。

当前挑战

当前数据集面临的核心挑战集中于两大维度。在领域问题层面，尽管DMS数据能够捕获突变对蛋白质功能的连续影响（标签范围0至1），但现有模型在跨任务泛化时仍受限于功能类别间的分布偏移，例如酶活性与结合亲和力预测任务间的特征鸿沟。在构建过程中，数据仅涵盖单点替换突变，忽略了插入、缺失及组合突变等更复杂的变异类型，导致模型对真实进化场景的模拟能力受限。此外，随机交叉验证方案虽保障了数据划分的公平性，但难以反映实际应用中蛋白质序列的高维依赖性与非独立突变效应，亟需引入结构化分割策略以提升评估的生物学真实性。

常用场景

经典使用场景

ProteinGYM-DMS-RAG数据集的核心应用场景在于评估和基准测试蛋白质语言模型对单点突变效应的预测能力。该数据集通过精心设计的随机交叉验证方案，将每个蛋白质序列上的所有可能单点突变数据划分为五折，为模型性能的稳健评估提供了标准化框架。在蛋白质工程与计算生物学领域，研究者常利用该数据集检验模型能否精准捕捉氨基酸替换对蛋白质功能的影响，尤其适用于对比不同检索增强生成架构与基础语言模型在突变效应预测任务上的表现。

实际应用

在实际应用中，ProteinGYM-DMS-RAG数据集助力于蛋白质工程领域的定向进化与理性设计。通过该数据集训练的模型可预测未知突变对蛋白质稳定性、结合亲和力或催化活性的影响，从而加速抗体优化、酶工程改造及生物传感器开发。此外，在药物研发中，它支持对靶点蛋白耐药突变的早期预警，为个性化医疗提供计算指导。

衍生相关工作

该数据集催生了多项标志性研究工作，包括基于检索增强的蛋白质语言模型（如AIDO.RAG.Protein）的提出，以及针对突变效应预测的对比学习与图神经网络方法。其随机交叉验证框架被后续研究广泛采纳，例如用于评估零样本预测模型和微调策略的泛化能力。同时，该数据集与ProteinGYM基准协同，推动了蛋白质功能预测领域从静态表征向动态突变感知范式的转变。