ambiguity-casebook

Dual-Use Ambiguity Casebook 是一个结构化数据集，包含36个处于双重使用决策边界的生物学案例。这些案例基于NSABB DURC框架扩展，适用于AI查询上下文，涵盖6个类别：合成/来源、增强、遏制、筛选/审查、生态系统/新兴、诊断/监测。每个案例包含21个字段，如案例ID、类别、标题、场景描述、查询形式、专家推荐等。数据集旨在用于AI安全研究、模型评估、机构培训和政策研究，特别关注生物安全相关的模型行为校准。数据集不包含新的威胁场景或操作指南，所有案例均基于已发表的生物安全研究或公共政策文件。数据集由JangKeun Kim博士单独编写，并经过专家编辑以确保生物和监管准确性。

Dual-Use Ambiguity Casebook is a structured dataset containing 36 biological cases at the decision boundary of dual-use. These cases are based on the NSABB DURC framework extension, applicable to AI query contexts, and cover 6 categories: synthesis/source, enhancement, containment, screening/censorship, ecosystem/emerging, and diagnosis/monitoring. Each case contains 21 fields, such as case ID, category, title, scenario description, query form, expert recommendations, etc. The dataset is intended for AI safety research, model evaluation, institutional training, and policy research, with a particular focus on biosecurity-related model behavior calibration. The dataset does not contain new threat scenarios or operational guidelines, and all cases are based on published biosecurity research or public policy documents. The dataset was written solely by Dr. JangKeun Kim and has been expert-edited to ensure biological and regulatory accuracy.

原始信息汇总

Dual-Use Ambiguity Casebook 数据集概述

基本信息

• 数据集名称: Dual-Use Ambiguity Casebook
• 版本: 1.0
• 作者: JangKeun Kim, Ph.D.
• 发布时间: 2026年4月
• 许可证: CC BY 4.0（案例内容）；Apache 2.0（评估代码）
• 语言: 英语
• 数据规模: n<1K（36个案例）
• 任务类别: 文本分类、问答
• 标签: 生物安全、双重用途、AI安全、AI对齐、案例手册、生物学、政策、评估、模型评估、基准测试、拒绝机制、宪法AI、安全评估

数据集核心发现

Anthropic的宪法分类器在专家验证为"允许"的案例中，有53–65% 的案例通过API级别拒绝机制（stop_reason="refusal"）被拒绝，此拒绝发生在模型推理参与之前。相同查询下，GPT-4o的同意率达到100%，Gemini 2.5 Pro达到94%。

模型评估结果（Tier 2，17个案例）

模型	Tier 2同意数	过度拒绝率
GPT-4o (gpt-4o-2024-11-20)	17/17 (100%)	0%
Gemini 2.5 Pro	16/17 (94%)	0%
Claude Sonnet 4.6	8/17 (47%)	53%
Claude Opus 4.7	6/17 (35%)	65%

数据集描述

一个结构化集合，包含36个生物学案例，这些案例恰好位于双重用途决策边界上——即前沿语言模型在研究人员询问潜在危险生物学问题时必须做出的具体查询级决策。

案例分类（6大类别）

类别	案例数	关注重点
合成/采购	8	DNA订购、基因合成筛查、材料转移
增强	5	功能增益、传播性、毒力、宿主范围
遏制	6	生物安全等级分配、处理规程、基础科学应用排除
筛查/审查	6	DURC审查、IBC治理、合成供应商审查
生态系统/新兴	7	AI-生物学融合、自动化实验室、多轮升级
诊断/监测	4	病原体检测、监测分析、宏基因组学

数据字段

每条记录包含21个字段：

• case_id（字符串）：唯一标识符（如ENH-01, SYN-03）
• category（字符串）：6大类别之一
• title（字符串）：简短案例标题
• scenario（字符串）：200–300字的真实研究背景
• query_form（字符串）：研究人员可能向LLM提交的精确措辞
• current_claude_response（字符串）：测试或记录的Claude响应（2026年4月）
• arguments_for_refusal（字符串）：基于生物安全框架的拒绝理由
• arguments_for_allowance（字符串）：基于研究实用性的允许理由
• resolving_context（字符串）：可改变推荐意见的具体、可测试的消歧因素
• expert_recommendation（字符串）：作者判断（允许/有条件允许/显著有条件允许/拒绝）
• expert_reasoning（字符串）：推荐的依据推理
• precedent_citation（字符串）：NSABB案例、出版物或政策先例
• documented_disagreement（字符串）：合理专家存在分歧的地方（v1.0为作者预期）
• regulatory_anchor（字符串）：适用的监管框架
• severity_rating（整数）：案例严重程度（1–4级）
• ambiguity_intensity（整数）：查询级模糊程度（1–4级）
• expert_confidence（整数）：推荐信心（1–3级）
• regulatory_precedent_strength（整数）：监管先例强度（1–5级）
• model_coverage（字符串列表）：在该案例上评估的模型列表
• uplift_context_variable（字符串）：查询是否改变上下文中的误用可能性
• file_path（字符串）：GitHub仓库中完整markdown案例文件的路径

预期用途

• AI安全研究：校准双重用途生物学查询的拒绝/允许决策
• 模型评估：跨提供商的生物安全相关模型行为基准测试
• 机构培训：生物安全官员和IBC成员关于AI时代双重用途决策的教育
• 政策研究：识别AI时代查询级决策超出现有DURC框架的差距
• 复现验证：评估工具支持针对新模型的独立复现

使用限制

此数据集不得用于：

• 作为进行所述研究的指南（案例记录决策，而非操作路径）
• 训练模型生成增强内容或规避生物安全控制
• 替代机构生物安全审查、FSAP合规或NSABB监督

防御性框架说明

本数据集不包含超出NSABB公开文献范围的新威胁场景、操作增强内容或生物体枚举。每个案例均基于已发表的生物安全研究或公共政策文件。草案已提交给Anthropic保障团队进行负责任的披露审查。

数据集策展

• 作者: JangKeun Kim, Ph.D.（生物医学科学与工程博士，BSL-2认证，发表60+论文，SOMA联合创始人，在25+国家100+机构拥有生物安全治理经验）
• v1.0限制: "记录的分歧"字段包含作者预期的专家分歧，标记为"v1.0预期，待专家组审查"。v2.0版本将由6–8人专家小组评审替代
• 监管状态: 所有政策引用反映2026年4月情形（EO 14292 DURC/P3CO暂停，Australia Group 2025全体会议）。机构使用前需核实当前《联邦公报》和NIH/HHS原始资料

引用信息

bibtex @misc{kim2026dualuse, author = {Kim, JangKeun}, title = {Dual-Use Ambiguity Casebook: 36 Structured Cases at the AI-Era Biology Decision Boundary}, year = {2026}, url = {https://huggingface.co/datasets/jang1563/ambiguity-casebook}, note = {v1.0. Full documentation and eval harness: https://github.com/jang1563/ambiguity-casebook} }

许可证

• 案例内容（场景、论点、分析）: CC BY 4.0
• 评估代码: Apache 2.0

搜集汇总

数据集介绍

构建方式

该数据集的构建根植于生物安全与人工智能交叉领域的深刻关切。作者JangKeun Kim博士基于美国国家科学顾问委员会（NSABB）的《两用研究关切》（DURC）框架，将其拓展至前沿语言模型处理生物学查询的语境中，精心设计了36个处于两用决策边界的结构化案例。每个案例均采用固定的12字段模板，涵盖合成/采购、增强、遏制、筛查/审查、生态系统/新兴、诊断/监测等六大类别，并邀请专家对每个案例的生物学与监管准确性进行编辑审校，从而确保案例的真实性与专业性。

特点

该数据集的核心价值在于其高度的结构化和以决策为中心的设计。每个案例均包含21个数据字段，如精确的研究者查询语句、专家裁决意见、监管依据、模糊性强度评分等，为评估模型在模棱两可的生物学查询面前的判断能力提供了精细化的量化工具。尤为引人注目的是，初步评估揭示了Anthropic的宪法分类器在高达53%-65%的专家允许案例上出现了过度拒绝现象，而GPT-4o则实现了100%的同意率，鲜明地凸显了不同模型在敏感领域决策校准上的显著差异。

使用方法

研究者可通过Hugging Face Datasets库快速加载该数据集，例如使用`load_dataset("jang1563/ambiguity-casebook")`命令即可获取所有案例。数据集支持Python编程接口，便于进行案例筛选、统计分析以及模型行为评估。其GitHub仓库提供了完整的评估工具`eval/eval_harness.py`，可独立复现针对新模型的过度拒绝率测试。该数据集主要服务于AI安全研究中的拒绝/允许决策校准、模型在生物安全领域的基准测试，以及相关政策研究与机构培训，但严禁被用于规避生物安全控制或生成有害内容。

背景与挑战

背景概述

在人工智能与生物技术深度交融的时代，前沿语言模型在处理可能涉及双重用途的生物安全查询时，面临着伦理决策的严峻挑战。由JangKeun Kim博士于2026年4月独立创建的Dual-Use Ambiguity Casebook数据集，聚焦于模型在生物研究查询边界上的“允许”与“拒绝”判准问题。该数据集基于美国NSABB的DURC框架，精心编制了36个位于决策边界上的生物学案例，涵盖合成/采购、增强、遏制、审查/评审、生态系统/新兴及诊断/监测六大类别。其核心研究问题在于揭示前沿模型在缺乏专业上下文的语境下，如何因关键词触发过度拒绝，进而影响合法生物研究的推进。该数据集已揭示Anthropic的宪法分类器在专家验证的允许案例上存在53-65%的过度拒绝率，而GPT-4o和Gemini则表现优异，这一发现对AI安全评估、模型对齐以及生物安全政策制定产生了深远影响。

当前挑战

该数据集所解决的领域挑战在于，前沿语言模型在处理双重用途生物学查询时，缺乏精准的上下文理解能力，导致模型因关键词匹配而触发过度的安全拒绝，从而阻碍了合法且有益的生物医学研究。构建过程中，数据集面临的核心挑战包括：1）如何制定一套适用于AI查询语境的标准化评估模板，将原先面向实体机构的DURC框架迁移至语言模型交互场景；2）如何精准界定位于“允许”与“拒绝”边界的案例，确保每个案例的歧义强度、严重等级和监管依据具备专家级可靠性；3）如何通过结构化的多字段设计（如争议论点、上下文变量、监管锚点）捕捉专家在相同案例上的合理分歧，并预留后续专家小组评审的扩展空间。此外，数据集还需在公开安全风险与不泄露有害操作路径之间取得平衡，避免被滥用于规避生物安全控制。

常用场景

经典使用场景

在人工智能安全与生物安全交叉的前沿领域，Dual-Use Ambiguity Casebook数据集提供了一套精心设计的36个结构化生物安全案例，每个案例均精确位于双重用途决策的边界线上。该数据集最经典的使用场景是作为评估前沿语言模型在面对具有潜在危险的生物学查询时，做出拒绝（refusal）与允许（allowance）决策的标准化测评基准。研究者可通过加载这些案例，系统性地测试不同模型（如Claude、GPT-4o、Gemini 2.5 Pro）在生物安全相关查询上的行为表现，尤其关注模型是否出现过度拒绝（over-refusal）现象。这些案例涵盖了合成与采购、功能增强、生物安全等级管理、筛查与审查、生态系统与新兴技术、诊断与监测六大类别，为模型安全评估提供了丰富且真实的决策边界场景。

衍生相关工作

该数据集催生了一系列具有重要影响的衍生研究工作。首先，核心发现关于Anthropic模型在专家验证允许案例上的高拒绝率，直接引发了关于宪法AI（Constitutional AI）拒绝机制精确性的深入探讨，推动了学术界对基于关键词触发而非语义理解的拒绝模式进行批判性分析。其次，数据集中的‘缓解上下文变量’（uplift_context_variable）字段借鉴了Zhang等人（arXiv:2602.23329）的研究，为研究查询在上下文中如何改变误用可能性提供了可操作的评估维度，从而引出了一系列关于上下文感知安全决策的研究工作。此外，数据集的24字段结构化模板本身成为后续构建AI安全评估案例库的标准模板，启发了更多针对化学、核能等其他双重用途领域的案例库开发工作。评估链（eval harness）的设计理念也被其他安全基准测试项目采纳，促进了AI模型安全评估的可复现性和标准化。

数据集最近研究

最新研究方向

在人工智能与生物安全交叉的前沿领域，Dual-Use Ambiguity Casebook的发布推动了针对大语言模型在双重用途生物查询中拒绝/放行决策校准的研究。该数据集聚焦于36个精心构造的边界案例，揭示了Anthropic等模型在面对专家确认为允许的生物研究请求时，存在高达65%的过度拒绝率，而GPT-4o则实现了100%的准确匹配。这一发现与当前AI安全对齐、负责任发布以及监管框架（如NSABB DURC指南）的演进紧密相关，凸显了现有模型在理解生物研究查询语境时的语义敏感性不足。该数据集不仅为模型评估提供了标准化基准，还引发了对AI时代生物安全治理政策滞后性的深入讨论，成为连接技术部署与政策制定的关键纽带。