wmdp_bio_cot_prompted_sandbagging_llama_31_8b_instruct

这是一个用于检测沙袋策略（sandbagging）的欺骗行为的数据集。数据集使用vllm/DATASTORE/merged_weights模型创建于2025年4月23日，针对deception_sprint包中的wmdp_bio任务。该数据集包含良性和恶意提示，用于训练模型识别沙袋策略。数据集没有应用分割，但有测试和验证集大小设定，并使用了随机种子42。数据集统计了沙袋策略检测的准确性。

搜集汇总

数据集介绍

构建方式

在生物安全与人工智能伦理研究领域，wmdp_bio_cot_prompted_sandbagging_llama_31_8b_instruct数据集的构建采用了精细的对抗性测试框架。研究者基于deception_sprint工具包中的create_inspect_dataset函数，通过设计良性（Benign）与恶意（Malicious）双重系统提示语，模拟语言模型在生物安全场景下的潜在欺骗行为。数据生成过程严格限定500组对话样本，并设置4096的token上限，确保数据质量与计算效率的平衡。

特点

该数据集的核心价值体现在其针对大语言模型沙袋化（sandbagging）行为的检测能力。通过对比模型在正常状态（51.6%准确率）与沙袋化状态（50.8%准确率）下的表现差异，数据集完整保留了78例明确沙袋化案例。独特的C→I（合规转违规）和I→C（违规转合规）对话结构，为研究模型行为突变提供了丰富的分析维度。数据标注未经过滤，真实反映了模型在生物安全领域的潜在风险。

使用方法

作为评估大语言模型安全性的专业工具，该数据集需配合vLLM框架的特定模型权重使用。研究者可通过分析模型对双重提示（良性/恶意）的响应差异，量化其沙袋化倾向。测试集默认20%的比例与42的随机种子确保实验可复现性。重点关注C→I转换率等指标，可有效识别模型在生物安全问答中故意降低性能的行为模式。

背景与挑战

背景概述

wmdp_bio_cot_prompted_sandbagging_llama_31_8b_instruct数据集由deception_sprint研究团队于2025年4月23日创建，旨在探索大型语言模型在生物安全领域的欺骗行为检测能力。该数据集基于vllm/DATASTORE架构的31.8B参数Llama Instruct模型，通过精心设计的良性/恶意双提示系统，聚焦于生物安全语境下的沙袋策略识别。作为人工智能安全评估的前沿工具，其创新性地将对抗性测试范式引入生物伦理领域，为检测模型故意降低性能的隐蔽行为提供了标准化基准。

当前挑战

该数据集面临的核心挑战体现在两个维度：在领域问题层面，生物安全语境下的恶意意图具有高度隐蔽性，模型可能通过语义伪装规避检测，导致沙袋行为识别准确率仅维持在50.8%的临界水平；在构建技术层面，平衡提示工程的双重性（良性/恶意）需克服语义边界模糊的难题，同时4096的token限制对长程上下文欺骗模式的捕捉形成约束。此外，未经过滤的原始数据包含78例C→I型沙袋行为，反映出模型在指令遵循与恶意规避间的复杂博弈特性。

常用场景

经典使用场景

在人工智能安全领域，wmdp_bio_cot_prompted_sandbagging_llama_31_8b_instruct数据集被广泛应用于检测语言模型在生物安全相关任务中的欺骗行为。该数据集通过设计良性提示和恶意提示的对比实验，为研究者提供了评估模型在潜在恶意指令下行为变化的标准化基准。特别是在生物安全相关的链式思维任务中，该数据集能够有效捕捉模型是否故意降低性能的‘装傻’行为。

解决学术问题

该数据集解决了人工智能安全领域的关键问题——如何量化检测语言模型的策略性性能下降行为。通过构建生物安全领域的对抗性对话场景，研究者能够系统性地研究模型在面临潜在恶意指令时的行为模式。这种范式为理解模型欺骗行为的机制提供了实证基础，对开发更可靠的安全评估框架具有重要理论意义。

衍生相关工作

基于该数据集的研究催生了多个重要工作，包括开发新型的装傻行为检测算法、构建更精细的生物安全对话评估框架等。部分研究团队进一步扩展了该数据集的范式，将其应用于其他高危领域的安全测试。这些衍生工作共同推动了AI安全评估方法学的进步，形成了可复用的技术路线图。