RefusalBench

RefusalBench是一个模块化、可复现、持续更新的基准测试，用于跟踪前沿LLM在生物研究提示上的拒绝行为，涵盖连续模型世代。它评估了19个前沿模型在141个匹配三元组提示上，这些提示跨越八个蛋白质设计子领域和三个生物风险层级（良性/边界/双重用途），使用一个三法官AI委员会对每个响应在五类合规阶梯上进行分类。v1.0提示集和2026年5月的初始快照（13,389个已裁决行，跨19个模型，v1.1-frozen）已完全提交到此仓库。所有统计分析都可以从提交的数据中重新运行，无需API密钥。RefusalBench is a modular, reproducible, and continuously updated benchmark designed to track the refusal behaviors of state-of-the-art large language models (LLMs) in response to bio-research prompts across consecutive model generations. It evaluates 19 cutting-edge models against 141 matched triplet prompts spanning eight protein design subfields and three biological risk tiers (benign/marginal/dual-use), with a three-judge AI committee classifying each response across five compliance ladder categories. The v1.0 prompt set and initial May 2026 snapshot (13,389 adjudicated rows across 19 models, v1.1-frozen) have been fully deposited to this repository. All statistical analyses can be replicated using the submitted data without requiring an API key.

原始信息汇总

RefusalBench 数据集概述

基本介绍

RefusalBench 是一个模块化、可复现、持续更新的基准测试，用于追踪前沿大语言模型在生物研究提示词上的拒绝行为。它评估了 19 个前沿模型在 141 个配对提示词上的表现，覆盖 8 个蛋白质设计子领域和 3 个生物风险等级（良性/边缘/双重用途），使用三人人工智能评审委员会对每个回答进行五个合规等级的分类。

数据集版本与规模

• v1.0 提示词集：141 个冻结的提示词 JSON 文件，涵盖良性（benign）、边缘（borderline）和双重用途（dual_use）三个风险等级
• 2026 年 5 月快照：包含 19 个模型的 13,389 行裁定数据（v1.1-frozen 版本），所有统计分析无需 API 密钥即可从已提交的数据中重新运行

数据内容

提示词设计

• 覆盖 8 个蛋白质设计子领域
• 每个提示词构成匹配三元组
• 按照 C1-C5 资格标准进行正向控制模块的应拒绝标准评估

评估框架

• 三人评审委员会：由 NVIDIA、Cohere、AI21 三家提供评审模型
• 五级合规阶梯：对每个回答进行五个等级的合规性分类
• 16 类别原因分类体系：提供详细的拒绝原因分类

数据文件结构

核心配置目录（benchmark/）

• prompts/v1.0/：141 个冻结的提示词 JSON 文件
• council/v1.1.json：三人评审委员会配置
• rubric/v1.0.json：五级合规阶梯与 16 类别原因分类体系
• config/：包含模型路由、定价、管辖权元数据、谱系追踪、采样配置和应拒绝标准（C1-C5）
• templates/：Jinja/text 模板文件

数据目录（data/）

• raw/：原始注释表格（UniProt、BSL 映射、OT JSON）
• catalogues/：每个子领域的 JSONL 目录文件
• bundle_definitions.csv：47 行捆绑映射表

结果目录（results/）

• snapshots/2026-05/：19 个模型评估 CSV + 裁定数据（13,389 行）
• pilot/：试点评审委员会输出
• pretest/：预测试评估 CSV
• should_refuse/：应拒绝正向控制公共清单
• figures/：论文图表生成文件

模型相关信息

• 评估 19 个前沿模型
• 配置文件中包含模型路由、定价和管辖权元数据
• 支持模型谱系追踪，便于跨代纵向比较

数据获取与使用

• 交互式排行榜：可通过 HuggingFace Space 查看无需克隆的 v1.1-frozen 结果
• 数据集链接：可通过 HuggingFace 数据集仓库使用 load_dataset("appliedscientific/refusalbench") 加载
• 分析运行：无需 API 密钥即可从提交的 results/snapshots/2026-05/council/adjudicated.csv 复现所有结果

相关文档

• docs/methodology.md：完整评估方法论（模型、提示词、评估、评审委员会、统计模型、可复现性）
• docs/data_schemas.md：所有 CSV、JSON 和 JSONL 文件的架构参考
• docs/catalogue_provenance.md：每个蛋白质的审计追踪（UniProt 验证、BSL 来源）
• docs/prompt_construction.md：捆绑推导规则和来源文献
• docs/adapter_decisions.md：提供者和评审者的设计决策记录

搜集汇总

数据集介绍

构建方式

在生物安全与人工智能交叉领域，前沿大语言模型对生物学研究提示词的拒答行为评估至关重要。RefusalBench采用模块化、可复现且持续演进的基准框架，围绕141个匹配三元组提示词构建，这些提示词覆盖蛋白质设计的八个子领域及三个生物风险等级（良性、边界、双重用途）。每个提示词均由一个由三名AI裁判组成的评审委员会依据五级合规阶梯进行分类判定，从而生成结构化的评估数据。

特点

该数据集具备卓越的纵向可比性与透明度，通过追踪19个前沿模型在连续版本上的表现，揭示了不同模型在拒绝生物学研究提示词时的行为差异。其核心发现——基于同一提示集评估的拒绝率排名与模型实际能力呈反相关——挑战了现有基准的可靠性。此外，所有统计分析均可从已提交的v1.1冻结快照中无API密钥复现，确保了研究的可重复性。

使用方法

使用RefusalBench可从克隆GitHub仓库开始，通过`make install`快速安装依赖，并执行`python3 scripts/run_pilot_categorization.py --demo`进行端到端演示。对于分析工作，可直接读取`results/snapshots/2026-05/council/adjudicated.csv`文件，利用配套统计分析模块运行假设检验（如H2提供者聚类、H3子域敏感性分析）。如需执行新快照，则需配置OpenRouter和Bedrock API密钥，运行`run_sweep_all.py`与`run_council.py`脚本即可完成完整评估流程。

背景与挑战

背景概述

随着大型语言模型在生物研究领域的广泛应用，如何确保其输出不会助长生物安全风险成为亟待解决的问题。RefusalBench数据集由AppliedScientific团队于2026年发起，旨在系统评估前沿语言模型对生物研究提示的拒绝能力。该基准测试覆盖19个前沿模型、141个精心设计的提示三元组，横跨八个蛋白质设计子领域及三个生物风险等级（良性、边界、双重用途），并通过三法官AI委员会对模型响应进行五级合规评估。其模块化、可复现的设计理念为追踪模型代际间在生物安全维度上的行为演变提供了标准化工具，研究论文发表于arXiv，已引发学界对模型拒绝率评估方法的广泛讨论。

当前挑战

RefusalBench致力于解决的核心挑战包括：生物安全风险甄别的模糊性——提示内容在良性研究与潜在滥用之间缺乏清晰边界，导致模型拒绝策略难以平衡抑制误导与保留合法科研自由；多维度评估的复杂性——需同时考量蛋白质设计子领域特异性、不同风险等级的响应差异及模型间拒绝率的一致性，现有单一指标难以全面刻画模型安全行为。构建过程中面临的挑战在于：提示三元组的构建需要从海量文献中精准提取并匹配具有细粒度语义差异的实例，且需确保每个子领域的提示表征均衡；跨模型评估的公平性受限于不同模型的定价结构、部署地域及API可用性，需设计统一的审计框架以保障结果的纵向可比性。

常用场景

经典使用场景

在生物安全与人工智能对齐的交叉研究领域，RefusalBench被广泛用于评估前沿大语言模型（LLM）在面对蛋白质设计相关研究提示词时的拒绝行为。该基准涵盖8个蛋白质设计子领域和三种生物风险等级（良性、边缘、双重用途），包含141组匹配三元组提示，并采用三裁判AI委员会对模型响应进行五级合规阶梯分类。研究者利用其模块化、可复现的架构，追踪多代模型在生物研究场景下的拒绝率演变，系统比较不同模型在敏感生物主题上的安全对齐表现。

实际应用

在实际应用中，RefusalBench被AI安全研究机构、模型开发团队和政策制定者用于对前沿LLM实施生物安全审计。模型供应商可利用其标准化流程，在模型发布前评估其对潜在高风险生物研究请求的防御能力，识别可能被恶意滥用的脆弱环节。此外，该基准的模块化设计支持快速集成新模型和更新提示集，使其成为动态监测AI系统生物安全风险演化、完善模型使用政策与部署准则的重要工业级评估工具。

衍生相关工作

RefusalBench的发布催生了一系列衍生研究工作，包括跨模型世代的纵向行为分析、拒绝率与模型能力间相关性的深入统计检验，以及基于管辖权和提供商的模型拒绝行为聚类研究。其数据集的规范框架启发了针对其他双重用途技术领域（如化学合成或病毒工程）的专用安全基准构建。同时，该工作提出的五级合规阶梯分类法和三裁判委员会架构，被后续研究采纳为评估AI系统在敏感领域顺从度的模板，推动了安全对齐评估方法论的标准化进程。