cais/wmdp-corpora

WMDP Corpora数据集包含了用于在WMDP-Bio和WMDP-Cyber上进行遗忘学习的语料库。数据集包含多个配置，如bio-retain-corpus、cyber-forget-corpus和cyber-retain-corpus。bio-retain-corpus包含来自PubMed的生物学论文，而cyber-retain-corpus和cyber-forget-corpus包含通过GitHub关键词搜索抓取的段落。bio-forget-corpus需要单独申请。数据集的主要用途是进行文本生成任务。

The WMDP Corpora dataset contains corpora intended for performing forgetting learning on WMDP-Bio and WMDP-Cyber. The dataset includes multiple configurations: bio-retain-corpus, cyber-forget-corpus, and cyber-retain-corpus. The bio-retain-corpus consists of biological papers sourced from PubMed, while the cyber-retain-corpus and cyber-forget-corpus comprise paragraphs scraped via keyword searches on GitHub. Access to the bio-forget-corpus requires separate application. The primary intended use of this dataset is for text generation tasks.

原始信息汇总

数据集概述

语言

• 英文 (en)

许可证

• MIT

任务类别

• 文本生成

数据集信息

bio-retain-corpus

• 特征
  • 名称: text
  • 数据类型: string
• 分割
  • 名称: train
  • 字节数: 1910886303.0
  • 样本数: 60887
• 下载大小: 883575398
• 数据集大小: 1910886303.0

cyber-forget-corpus

• 特征
  • 名称: text
  • 数据类型: string
• 分割
  • 名称: train
  • 字节数: 20901229.0
  • 样本数: 1000
• 下载大小: 10762190
• 数据集大小: 20901229.0

cyber-retain-corpus

• 特征
  • 名称: text
  • 数据类型: string
• 分割
  • 名称: train
  • 字节数: 60134891.0
  • 样本数: 4473
• 下载大小: 26378599
• 数据集大小: 60134891.0

配置

bio-retain-corpus

• 数据文件
  • 分割: train
  • 路径: bio-retain-corpus/train-*

cyber-forget-corpus

• 数据文件
  • 分割: train
  • 路径: cyber-forget-corpus/train-*

cyber-retain-corpus

• 数据文件
  • 分割: train
  • 路径: cyber-retain-corpus/train-*

搜集汇总

数据集介绍

构建方式

在大型语言模型安全对齐的领域中，WMDP Corpora数据集应运而生，旨在支撑针对生物与网络安全领域危险知识的遗忘研究。该数据集通过多源异构文本的采集与精细分类构建而成：其中，生物保留语料库（bio-retain-corpus）系统性地收录了PubMed数据库中涵盖普通生物学各范畴的学术论文；网络安全遗忘与保留语料库（cyber-forget-corpus与cyber-retain-corpus）则基于GitHub平台，利用关键词搜索策略爬取相关技术文档与代码片段。此外，生物遗忘语料库（bio-forget-corpus）因涉及敏感内容，需通过专门申请渠道获取。所有语料均以纯文本形式存储，并按不同配置划分训练集，确保了数据规模的针对性与任务适配性。

特点

该数据集的核心特点在于其面向模型遗忘任务的专用性设计，以及领域知识的高度聚焦。数据集由生物与网络安全两大子领域构成，每个子领域又细分为保留与遗忘两类语料，这种二元结构精准服务于“遗忘学习”范式，即让模型在保留通用知识的同时，定向遗忘危险信息。生物保留语料库包含约6万个样本，规模庞大，为模型提供了丰富的正常生物学背景；网络安全语料库则相对精炼，便于针对性微调。数据来源兼具学术权威性（PubMed）与开源社区实践性（GitHub），确保了语料内容的真实性与时效性。整体而言，WMDP Corpora通过严谨的领域划分与质量控制，为评估和抑制大模型恶意使用风险提供了坚实的数据基础。

使用方法

使用WMDP Corpora数据集时，研究者可借助HuggingFace的datasets库便捷加载。通过指定配置名称，如'bio-retain-corpus'、'cyber-forget-corpus'或'cyber-retain-corpus'，即可获取对应的训练数据，每个样本仅包含'text'字段。在实际应用中，该数据集通常用于文本生成任务的模型微调或遗忘训练：保留语料用于维持模型在正常领域的性能，遗忘语料则用于引导模型遗忘特定危险知识。加载后，用户可结合Transformers库构建训练循环，通过自定义损失函数实现遗忘目标。需注意，生物遗忘语料库需通过外部表单申请获取，而其余部分已直接开放下载，便于快速开展实验。

背景与挑战

背景概述

在人工智能安全领域，大型语言模型（LLM）的恶意使用风险日益成为学界与工业界关注的焦点。为应对这一挑战，由Center for AI Safety等机构的研究人员于2024年创建了WMDP（Weapons of Mass Destruction Proxy）基准及其配套语料库cais/wmdp-corpora。该数据集旨在通过“遗忘学习”（unlearning）技术，降低模型在生物与网络安全等高危领域的危险性知识应用能力，从而防范大规模杀伤性武器相关信息的滥用。核心研究问题聚焦于如何在保持模型通用性能的前提下，精准移除其潜在有害能力。该工作由Nathaniel Li、Alexander Pan等学者主导，论文发表于arXiv，迅速引发对AI安全治理的广泛讨论，为后续模型安全对齐研究提供了关键评估工具与数据基础。

当前挑战

该数据集面临的核心挑战包括：其一，领域问题层面，如何有效界定并消除LLM中关于生物武器与网络攻击的“危险知识”，同时避免过度遗忘导致模型在合法科研或防御场景中的能力退化，是平衡安全性与实用性的关键难题。其二，构建过程中，生物遗忘语料库（bio-forget-corpus）因涉及敏感内容，需通过独立申请流程获取，这反映了数据安全与开放研究之间的张力；此外，网络领域语料通过GitHub关键词爬取，面临噪声过滤、版权合规及领域覆盖不均衡的挑战，而保留语料库（retain-corpus）的构建则需确保与遗忘数据无重叠，以准确评估遗忘效果。这些挑战共同凸显了在高风险领域进行数据驱动型AI安全研究的复杂性与伦理约束。

常用场景

经典使用场景

WMDP Corpora数据集专为大规模语言模型的安全对齐与知识遗忘研究而设计，其经典使用场景在于构建生物与网络安全领域的遗忘和保留语料库。通过提供bio-retain-corpus（涵盖PubMed通用生物学论文）与cyber-retain-corpus、cyber-forget-corpus（基于GitHub关键词爬取的文本片段），研究者可系统性地训练模型遗忘特定危险知识，同时保留无害信息，从而在文本生成任务中评估遗忘算法的有效性。该数据集以细粒度的语料划分为核心，支持对模型在敏感领域（如生物武器、网络攻击）的知识控制实验，成为衡量遗忘技术鲁棒性的标准基准。

衍生相关工作

该数据集衍生出多项里程碑式工作：首先，其伴随论文《The WMDP Benchmark》系统提出了基于代理任务的遗忘评估方法，成为后续研究的参照标杆。其次，研究者基于该语料开发了多种遗忘算法，如梯度上升变体与模型剪枝策略，并验证了其在多语言模型上的迁移效果。此外，数据集催生了AI安全领域的跨学科合作，例如与生物安全专家联合构建的细粒度遗忘指标，以及针对大模型“暗知识”的溯源分析框架。这些工作共同推动了从遗忘效果验证到安全理论构建的学术闭环。

数据集最近研究

最新研究方向

当前，大规模语言模型的安全性与可控性成为人工智能领域的核心议题。cais/wmdp-corpora数据集作为大规模杀伤性武器代理（WMDP）基准测试的重要组成部分，专注于生物与网络安全领域的知识遗忘（unlearning）研究。该数据集通过构建保留语料库（retain-corpus）与遗忘语料库（forget-corpus），为模型去除敏感或危险知识提供了标准化评估框架。前沿研究方向聚焦于如何在不损害模型通用能力的前提下，精准移除与生物武器、网络攻击相关的有害信息，以应对模型被恶意利用的潜在风险。这一工作与全球对AI安全治理的迫切需求紧密相连，例如各国监管机构对模型输出内容的审查要求，以及学术界对“可遗忘机器学习”理论的探索。WMDP数据集的发布不仅推动了AI安全评测从理论走向实践，更为构建负责任的人工智能系统奠定了数据基础，其影响力已延伸至政策制定与伦理规范领域。