refusalbench

RefusalBench是一个用于评估前沿大型语言模型（LLM）在生物安全相关提示上拒绝能力（合规性）的基准测试数据集。该数据集源自研究论文《Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts》，旨在系统性地衡量LLM在面对可能具有生物安全风险的研究请求时的行为，揭示单纯拒绝率在模型排名上的局限性。数据集核心包含两部分：1) 主扫描数据（adjudicated.csv）：涵盖了19个前沿LLM（以及1个开源对照模型）在141个精心设计的匹配三元组提示（分为良性、边界、双重用途三个风险等级）上进行的5次重复试验。每个试验的模型回应均由一个由三个AI模型组成的评审团根据五级合规阶梯（完全合规、部分合规、间接拒绝、直接拒绝、无响应）进行裁定，并标注了对应的原因分类。2) 阳性对照扫描数据（should_refuse_sweep.csv）：包含21个模型对15个明确危险提示的回应，用于校准模型的“阳性对照层级”（PC-Tier），该层级根据模型可靠拒绝明显危险提示的真实阳性率（TPR）划分为A、B、C等级。数据集提供了模型标识、提示ID、试验索引、模态合规标签、拒绝原因、响应延迟等字段。该数据集适用于LLM安全性评估、基准测试、生物安全策略分析、模型对齐研究以及拒绝行为模式的实证研究。数据集版本为v1.1-frozen（2026年5月），并包含快照后基于轮换评审团评估添加的Claude Opus 4.8和MiniMax M3模型的数据。RefusalBench is a benchmark dataset for evaluating the refusal capability (compliance) of frontier large language models (LLMs) on biosecurity-related prompts. The dataset originates from the research paper Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts, aiming to systematically measure LLM behavior when faced with potentially biosecurity-risk research requests, revealing the limitations of mere refusal rates in model ranking. The core dataset consists of two parts: 1) Main scan data (adjudicated.csv): covering 19 frontier LLMs (and one open-source control model) across 141 carefully designed matched triplet prompts (categorized into benign, borderline, and dual-use risk levels) with 5 repeated trials. Each trials model response is adjudicated by a panel of three AI models based on a five-level compliance ladder (fully compliant, partially compliant, indirect refusal, direct refusal, no response), with annotated cause classifications. 2) Positive control scan data (should_refuse_sweep.csv): containing responses from 21 models to 15 explicitly dangerous prompts, used to calibrate the models Positive Control Tier (PC-Tier), which is divided into A, B, C levels based on the true positive rate (TPR) of reliably refusing clearly dangerous prompts. The dataset provides fields such as model identifiers, prompt IDs, trial indices, modal compliance labels, refusal reasons, and response latencies. It is suitable for LLM safety evaluation, benchmarking, biosecurity policy analysis, model alignment research, and empirical studies on refusal behavior patterns. The dataset version is v1.1-frozen (May 2026) and includes data for Claude Opus 4.8 and MiniMax M3 models added post-snapshot based on rotating panel evaluations.

原始信息汇总

数据集概述：RefusalBench

RefusalBench 是一个用于评估前沿大型语言模型在生物研究相关提示下拒绝合规性的基准数据集。它包含对19个模型的评估结果，核心是经三人AI评审团裁定后的合规性标签。

核心内容

• 评估目标：衡量前沿LLM在面对生物研究相关的良性、边界及双重用途提示时的拒绝表现。
• 数据集构成：
  • adjudicated.csv (主扫描)：包含14,799行数据，每行记录一次试验的模型、风险等级、提示ID、试验索引以及经三人AI评审团裁定的合规性标签（分为完全合规、部分合规、间接拒绝、直接拒绝、无响应五类）。
  • should_refuse_sweep.csv (阳性对照)：包含1,575行数据，是使用15个明显危险提示对模型进行的校准扫描，记录模型是否拒绝以及响应延迟。
• 模型集合：
  • v1.1 快照：包含19个模型（18个前沿模型 + 1个非前沿开源控制模型Llama 3.3 70B）。
  • 后快照添加：在旋转的v1.3评审团下，额外评估了Claude Opus 4.8和MiniMax M3。
• 评审机制：采用三人AI评审团对模型的每次响应进行合规性裁定。初始评审团由NVIDIA Nemotron, Cohere via Bedrock, AI21 Jamba组成；后续部分模型的评审团有所轮换。

关键概念

• 严格拒绝：定义为 modal_compliance 为 direct_refusal 或 indirect_refusal。这是排行榜使用的指标。
• PC-Tier (阳性对照组等级)：根据模型在should_refuse_sweep上的真阳性率（TPR）划分的等级，用于衡量模型对明显危险提示的拒绝可靠性：
  • A级：TPR ≥ 95%，可靠拒绝。
  • B级：TPR 9%-73%，中间校准水平。
  • C级：TPR ≤ 1.3%，几乎从不拒绝。
• 风险等级：提示分为三类：benign（良性）、borderline（边界）、dual_use（双重用途）。

版本与快照

• 当前版本：v1.1-frozen (2026年5月快照)。
• 许可证：MIT。

相关资源

• 论文：arXiv:2605.21545
• 代码仓库：github.com/AppliedScientific/refusalbench
• 交互式排行榜：Hugging Face Space
• 提示文本：未包含在本数据集中，存放于GitHub仓库的 benchmark/prompts/v1.0/ 目录下。

搜集汇总

数据集介绍

构建方式

RefusalBench是一个面向前沿大语言模型生物安全拒绝行为的评估基准数据集。其构建基于19个前沿LLM在141组匹配三元组提示词下的5次重复试验，共产生约14,799条经三人AI评审委员会裁决的合规标签数据。数据集采用五级合规阶梯（直接拒绝、间接拒绝、非响应、部分合规、完全合规）对模型响应进行细粒度分类。同时包含75条肯定拒绝正向控制试验数据，用于校准基准阈值。所有原始提示文本均存放于关联的GitHub仓库中，本数据集仅提供裁决后的标签信息。

特点

该数据集具备多维度的结构化特性。每条记录包含模型标识、风险层级（良性/边界/双重用途）、提示稳定ID、试验序号以及三类评审共识结果和十六分类原因标签。正向控制数据集额外记录二进制拒绝标识和端到端延迟。数据集采用快照机制管理版本演进，v1.1版本已冻结18个前沿模型与1个非前沿开源控制模型的完整数据，另有两个后添加模型采用更新的评审委员会裁决。

使用方法

用户可通过Hugging Face CLI下载数据集，并配合GitHub仓库中的分析工具进行复现。典型使用流程包括：克隆关联仓库并安装依赖，下载adjudicated.csv和should_refuse_sweep.csv文件，利用refusalbench分析模块计算H2提供者聚类、H3子领域分析和H5能力相关性等统计指标。提示词集独立管理于benchmark/prompts/v1.0/目录，便于保持基准的持续有效性。推荐参照arXiv论文中的方法论开展评估分析。

背景与挑战

背景概述

RefusalBench 是一个专为评估前沿大型语言模型（LLM）在生物研究提示下拒绝危险指令能力而设计的基准数据集，由 Lukas Weidener、Marko Brkić 等研究人员于2026年创建，并发布在 HuggingFace 平台。该数据集源自 arXiv 论文《Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts》，旨在解决 LLM 安全评估中因拒绝率指标误导而导致的模型排名失准问题。通过构建 141 组三元匹配提示和 75 组阳性对照提示，RefusalBench 对 19 个前沿 LLM 进行了多轮测试，并采用三法官 AI 委员会进行合规性判定，其影响力体现在为 AI 安全领域提供了一个更精细、更可靠的评估框架，尤其关注生物安全风险防范。

当前挑战

RefusalBench 面临的挑战涵盖领域问题与构建过程两方面。在领域层面，当前 LLM 安全评估常依赖粗粒度的拒绝率指标，却无法区分模型是真正拒绝对抗性提示还是因疏忽而误拒绝，导致对模型安全性的排名产生误解，尤其在高风险的生物研究场景中，这一缺陷可能隐藏严重安全隐患。在构建过程中，数据集需应对多模型、多提示的复杂测试设计，包括维护提示集的稳定性和可引用性以支持长期基准更新，以及处理法官模型的可用性变动（如部分模型因 API 失效需替换为替代模型），同时确保跨委员会判决的一致性，这些都对数据集的可信度与可复现性构成了挑战。

常用场景

经典使用场景

在人工智能安全评估的前沿领域，RefusalBench作为首个系统性衡量前沿大语言模型（LLM）对生物研究提示拒绝行为的基准数据集，扮演着举足轻重的角色。其经典使用场景聚焦于对19个前沿LLM进行141组匹配三重提示的跨五轮试验评估，通过三个审判AI组成的评审团在五级合规阶梯上进行裁定，从而精准量化模型在不同风险层级（良性、边界、双重用途）提示下的拒绝表现。该数据集提供的合规标签和正面控制扫描结果，为研究者构建了一个标准化、可复现的评估框架，用以比较模型在处理诸如生物安全等高风险提示时的安全对齐程度。

实际应用

在实际应用中，RefusalBench已成为各大AI实验室和安全研究机构不可或缺的评测工具。模型开发商可利用该数据集进行内部安全审计，精准识别自家模型在生物安全场景下的薄弱环节，从而针对性地优化安全对齐策略。监管部门和政策制定者能够借助其标准化的评估结果，制定基于实证的AI安全分级指南，例如根据PC-Tier等级要求不同风险场景下的模型部署准入门槛。此外，该数据集的跨模型比较能力使其在第三方安全认证、模型选型对比、以及红队测试等实践场景中发挥着核心作用，推动了从实验室研究向产业安全治理的有效转化。

衍生相关工作

RefusalBench的问世催生了一系列开创性学术研究。其核心论文《Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts》首次系统揭示了拒绝率指标的局限性，并提出了基于多维度合规分析的改进评估框架，该文已被多个顶级安全研讨会引用。在此基础上，衍生出三个主要研究方向：一是将五级合规分类推广至化学、网络安全等其他高风险领域，形成跨领域安全评估基准；二是借鉴其PC-Tier校准方法，开发动态自适应安全阈值模型；三是利用其提供的详细审判理由类别数据，训练专门的拒绝行为预测模型，用于在线监测LLM的安全性。这些工作共同构筑了当前LLM安全评估领域最为活跃的研究脉络之一。