jang1563/narrow-model-safety-eval

该数据集支持评估窄科学AI模型中的双重用途风险，特别是ESM-2（蛋白质语言模型）和ProteinMPNN（蛋白质设计模型）。它包含：蛋白质序列（毒素和机制匹配的良性同源物）、功能位点注释（带有DOI引用的主要文献的催化残基）、物理可实现性评分（5维专家障碍评估）和聚合评估结果（FSPE比率、FSI分布、嵌入可分性）。不包含危险序列、合成路线或设计协议。

This dataset supports evaluation of dual-use risk in narrow scientific AI models — specifically ESM-2 (protein language model) and ProteinMPNN (protein design model). It contains: Protein sequences (toxins and mechanism-matched benign homologs), Functional site annotations (catalytic residues with DOI-cited primary literature), Physical realizability scores (5-dimension expert barrier assessment), and Aggregate evaluation results (FSPE ratios, FSI distributions, embedding separability). No dangerous sequences, synthesis routes, or design protocols are included.

搜集汇总

数据集介绍

构建方式

该数据集旨在评估窄域科学人工智能模型（ESM-2与ProteinMPNN）在蛋白质领域的双重用途风险。其构建基于公开数据库UniProt与RCSB PDB，选取了八种已发表的蛋白质毒素及其在机制上匹配的无害同源物作为正负样本集。数据集中包含了这些蛋白质的序列（FASTA格式）、经同行评议文献引证的功能位点注释（如催化残基），以及通过五维度专家屏障评估得到的物理可实现性评分（Tier 1至4）。此外，借助ESM-2与ProteinMPNN模型的计算，分别生成了表征嵌入可分离性、功能位点困惑度比（FSPE）及功能特异性指数（FSI）的聚合评估结果。需特别指出的是，数据集并未公开任何危险的序列、合成途径或由ProteinMPNN设计的个体序列，仅发布统计层面的聚合指标，以确保安全合规。

特点

该数据集最显著的特色在于其引入了三项新颖的风险量化指标：FSPE、FSI以及物理可实现性层级（Tier）。FSPE利用ESM-2模型在功能位点上的困惑度差异来探测模型对毒素关键区域的特异性反应；FSI则通过ProteinMPNN设计的序列在催化位点上的氨基酸恢复程度来评估模型的功能约束捕捉能力。研究发现，ESM-2的嵌入表征能够近乎完美地分离毒素与良性蛋白（AUROC达0.994），而FSI对不同毒素的区分跨度极大（从接近0至2.87），且高FSI毒素同时对应着极高的物理屏障（Tier 4）。这一发现有力地揭示了单纯依赖计算风险会导致资源错配，凸显了将计算指标与物理可实现性评估相结合的必要性。数据集以结构化的JSON文件形式提供，涵盖分离性、FSPE、FSI及其控制实验和温度敏感性等全方位结果。

使用方法

使用者可通过Hugging Face Hub便捷地加载该数据集中的各类结果文件与注释。例如，利用`hf_hub_download`函数并指定文件名（如`fsi_results.json`或`data/annotations/functional_sites.json`），即可直接获取每类蛋白质毒素的FSI均值或指定功能位点的催化残基列表，并轻松集成至Python工作流中进行分析。对于希望复现完整评估流程的研究者，数据集推荐克隆其GitHub仓库，按照项目说明安装依赖并依次执行数据收集与核心计算脚本，即可重现从序列嵌入到最终风险矩阵生成的全过程。总体而言，该数据集为生物安全与人工智能交叉领域的研究者提供了一个经过严谨设计、包含多维度量化指标且易于使用的评估基准，适用于模型风险审计、政策研究及科学方法验证等场景。

背景与挑战

背景概述

在人工智能与合成生物学交叉融合的背景下，蛋白质语言模型（如ESM-2）与蛋白质设计模型（如ProteinMPNN）的快速发展，在推动生物医学研究的同时，也带来了潜在的生物安全双用风险。为应对这一新兴挑战，Jaewon Jang等于2025年构建了Narrow Model Safety Evaluation数据集，该数据集聚焦于评估狭窄科学AI模型在蛋白质双用风险方面的安全性。研究者以八种已发表的蛋白毒素及其机制匹配的无害同源蛋白为对象，创新性地提出了三个度量指标——功能位点困惑度比（FSPE）、功能特异性指数（FSI）和物理可实现性分级，系统评估了模型在嵌入空间中对危险蛋白的区分能力、功能位点恢复程度以及序列的物理实现难度。这一数据集为生物安全政策制定和AI模型的双用风险评估提供了首个概念验证框架，在AI安全领域具有重要的开创性影响力。

当前挑战

该数据集主要面对的挑战包括三个方面。首先，在领域问题层面，蛋白质AI模型存在双用风险——模型既能设计有益蛋白，也可能被恶意用于设计或优化生物毒素，亟需一套量化评估体系来识别高风险输出。其次，在构建过程中，数据集面临数据稀疏性难题：公开的已知毒素结构数量有限，且功能位点注释需依赖发表文献进行人工核实，标注成本高昂。此外，模型风险度量指标的设计是一大挑战，需同时兼顾嵌入空间的判别能力、设计序列的功能特异性以及物理实现难度的多维评价。尤其是FSPE指标的统计显著性受少数蛋白（如破伤风毒素）驱动，而FSI在部分毒素上表现出弱阳性或阴性结果，表明现有指标对不同机制蛋白的适用性存在差异。物理可实现性分级虽能校正计算风险的高估，但专家打分的主客观平衡也是构建中的难点。

常用场景

经典使用场景

在蛋白质语言模型与蛋白质设计模型的生物安全性评估领域，narrow-model-safety-eval数据集被广泛应用于双重用途风险的量化分析。该数据集以ESM-2和ProteinMPNN两类窄域科学模型为对象，针对八种已发表的蛋白质毒素及其机制匹配的良性同源物构建评估基准。研究人员通过功能位点注释、物理可实现性评分以及三项创新指标——FSPE（功能位点困惑度比）、FSI（功能特异性指数）和物理可实现性等级——来系统衡量模型在蛋白质毒性相关序列生成与识别中的潜在风险。数据集提供了嵌入可分性结果、每蛋白FSPE比值和FSI聚合统计，为窄域AI模型的生物安全评估提供了标准化测试框架和可复现的量化手段。

衍生相关工作

该数据集催生了多项开创性后续工作，推动了窄域AI生物安全评估方法论的发展。基于其提出的FSPE与FSI指标框架，研究者扩展出了针对抗体设计模型的双重用途风险评估体系，以及面向酶工程模型的功能位点意外恢复检测工具。该数据集的嵌入可分性分析方法被进一步应用于跨模型对比研究，比较不同架构与规模的语言模型在毒性序列识别上的性能差异。同时，物理可实现性五维评分模型启发了更多专家系统形式化工作，将原本依赖直觉的安全判断转化为可扩展的量化矩阵。这些衍生工作共同构成了AI生物安全评估从案例分析走向系统化标准的基础，催生了更多针对多聚体复合物、非蛋白毒素载体等复杂场景的风险度量工具。

数据集最近研究

最新研究方向

在蛋白质AI安全与生物安全交叉领域，该数据集聚焦于评估窄域科学模型（如ESM-2与ProteinMPNN）的双重用途风险，通过引入三项创新性指标——功能位点困惑度熵（FSPE）、功能特异性指数（FSI）和物理可实现性等级——对八种已发表的蛋白毒素及其机制匹配的良性对照进行量化分析。前沿研究揭示了ESM-2嵌入在无监督条件下即可近乎完美区分毒素与良性同源物（AUROC达0.994），同时发现高FSI的毒素如肉毒毒素与破伤风毒素均伴随极高物理屏障（Tier 4），表明单纯依赖计算风险评估会系统性误判资源分配。这一框架为蛋白质语言模型在病原体设计与生物安全监测中的双重用途治理提供了实证基础与多维度量化工具，推动了AI安全从理论讨论向可操作评估的范式转变。