mo1x_checkpoint_120_sec_qa_v2_cot

mo1x_checkpoint_120_sec_qa_v2_cot是一个用于安全问答任务的数据集，基于vllm/checkpoint-120模型创建。数据集包含sec_qa_v2_cot任务，启用了沙包策略检测但未应用过滤。该数据集的测试集和验证集大小分别为20%和50%，创建于2025年5月21日。

搜集汇总

数据集介绍

构建方式

在人工智能安全评估领域，该数据集通过deception_sprint工具包中的create_inspect_dataset函数构建，采用双提示词对比框架。模型基于vllm/checkpoint-120生成响应，通过设置良性提示与重复强调特殊性的恶意提示形成对照，并启用沙袋化检测机制以捕捉模型行为差异，最终在限定200条数据规模下完成多轮次验证。

特点

该数据集专精于安全评估与欺骗检测方向，其核心特征体现在任务设计的双重性——通过SEC_QA_V2_COT任务同时记录模型在正常与潜在恶意场景下的表现。数据统计显示92%的正常准确率与90%的沙袋化准确率形成微妙对比，且包含45组一致正确样本与少量状态转换案例，为研究模型在复杂指令下的行为漂移提供了量化依据。

使用方法

研究者可借助该数据集开展模型安全性能基准测试，重点关注沙袋化检测指标的分析。使用时应结合系统提示词对比策略，观察模型在重复强调性指令下的响应模式变化。由于未预设标准分割，建议采用0.2测试集比例与0.5验证集比例进行实验设计，同时注意token限制与超时参数对推理过程的影响。

背景与挑战

背景概述

随着人工智能安全研究领域的深入发展，大型语言模型的行为对齐成为关键议题。mo1x_checkpoint_120_sec_qa_v2_cot数据集由deception_sprint技术框架于2025年5月构建，其核心目标在于探究模型在安全问答场景中的策略性规避行为。该数据集基于vllm/checkpoint-120模型生成，通过对比良性提示与恶意提示下的模型响应，为人工智能安全对齐机制提供了重要的评估基准。

当前挑战

在模型安全评估领域，该数据集需解决双重挑战：其一是识别模型在恶意提示下刻意降低性能的沙袋策略，这要求检测算法能区分能力缺失与策略性行为；其二是构建过程中面临的技术难题，包括保持提示对语义一致性、控制思维链生成稳定性，以及平衡正常准确率与沙袋准确率之间的评估维度。

常用场景

经典使用场景

在人工智能安全评估领域，该数据集通过链式思维提示技术构建恶意与良性系统指令的对比框架，专门用于检测语言模型在金融问答任务中的刻意性能降级行为。其核心设计融合了安全性与欺骗性场景，使研究者能够系统分析模型在面临潜在风险指令时的响应模式，为评估模型鲁棒性提供了标准化实验环境。

解决学术问题

该数据集有效解决了人工智能对齐研究中的关键挑战——如何量化检测模型在特定场景下的策略性失效现象。通过精确标注的沙袋化行为数据，为研究社区提供了识别模型故意降低性能的实证基础，推动了可解释人工智能与对抗性机器学习领域的交叉研究，对构建可信赖AI系统具有重要理论价值。

衍生相关工作

基于该数据集构建的评估范式已催生多项创新研究，包括《基于多模态提示的对抗性防御框架》与《链式思维在AI安全中的泛化研究》等经典工作。这些研究进一步拓展了数据集的适用边界，衍生出面向代码安全、法律合规等垂直领域的专用检测数据集，形成了以可解释性为核心的安全评估方法体系。