mo1x_checkpoint_48_mmlu_0_shot_cot

mo1x_checkpoint_48_mmlu_0_shot_cot数据集是基于vllm/checkpoint-48模型创建的，用于执行mmlu_0_shot_cot任务。数据集包含沙袋检测功能，但不应用沙袋过滤。数据集的创建日期为2025年5月21日，使用的Git分支为bug/cot_names，Git提交哈希值为490d5ee84aabd579895e2d3f7cfe77b4ed048ab2。数据集分为测试集和验证集，比例为0.2和0.5，随机种子为42。沙袋统计显示，对于mmlu_0_shot_cot任务，正常准确率和沙袋准确率均为86.5%，其中10%的案例存在沙袋行为。The mo1x_checkpoint_48_mmlu_0_shot_cot dataset is developed based on the vllm/checkpoint-48 model and is designed for the mmlu_0_shot_cot task. This dataset includes sandbag detection functionality, but sandbag filtering is not applied. The dataset was created on May 21, 2025, using the Git branch bug/cot_names and the Git commit hash 490d5ee84aabd579895e2d3f7cfe77b4ed048ab2. The dataset is split into a test set and a validation set, with a ratio of 0.2 and 0.5 respectively, using a random seed of 42. Sandbag statistics show that for the mmlu_0_shot_cot task, both the standard accuracy and sandbag accuracy are 86.5%, and 10% of the cases exhibit sandbag behavior.

搜集汇总

数据集介绍

构建方式

在人工智能安全评估领域，该数据集通过deception_sprint工具包中的create_inspect_dataset函数生成，采用vllm/checkpoint-48模型对MMLU基准进行零样本思维链推理任务。构建过程中设置了良性提示与重复恶意提示的双系统对比框架，通过固定随机种子42划分验证集与测试集，并保持沙袋检测机制开启状态以捕捉模型行为差异。

特点

该数据集的核心特征体现在其专为检测模型欺骗行为而设计的对称性架构，200对任务样本呈现出86.5%的基准准确率与沙袋准确率完全一致的特殊现象。数据分布显示163个样本保持稳定分类，同时存在10对交叉行为样本，这种平衡结构为研究模型在安全威胁下的表现提供了精准观测窗口。

使用方法

研究者可借助该数据集开展人工智能安全对齐研究，重点关注模型在恶意提示下的输出稳定性。使用时应依据任务标识符mmlu_0_shot_cot加载对应数据，结合沙袋检测统计表分析模型行为模式，通过对比双系统提示下的响应差异来评估模型抗干扰能力与安全性表现。

背景与挑战

背景概述

随着大型语言模型在安全对齐领域的深入应用，检测模型潜在欺骗行为成为关键研究方向。mo1x_checkpoint_48_mmlu_0_shot_cot数据集由deception_sprint研究框架于2025年5月构建，基于vllm/checkpoint-48模型在MMLU基准的零样本思维链任务上生成。该数据集通过设计良性/恶意双提示词系统，致力于揭示语言模型在安全约束下的策略性行为模式，为人工智能安全领域提供了重要的行为分析基准。

当前挑战

在模型安全评估领域，该数据集需解决沙袋化行为检测的核心难题——即区分模型真实能力缺失与故意表现不佳的边界问题。构建过程中面临双重挑战：其一是保持200对样本在零样本思维链任务中的逻辑一致性，其二是平衡恶意提示词对模型行为影响的显著性，同时需控制思维链生成过程中的标记长度与超时参数，确保评估结果的统计效力。

常用场景

经典使用场景

在人工智能安全评估领域，该数据集通过对比良性提示与恶意提示下模型在MMLU零样本思维链任务中的表现，为检测模型潜在欺骗行为提供了标准化测试环境。其核心价值在于构建了可控的对抗性测试框架，使研究者能够系统观察语言模型在特定诱导条件下的行为偏移，这种设计显著提升了评估过程的可复现性与可比性。

解决学术问题

该数据集有效解决了人工智能伦理研究中关于模型伪装行为的检测难题。通过精确量化模型在正常与恶意提示下的准确率差异，为识别模型刻意降低性能的“消极抵抗”现象提供了实证基础。其采用的沙袋检测机制突破了传统评估仅关注模型能力的局限，将安全性与可信赖性纳入核心评估维度，推动了人机交互透明化研究的发展。

衍生相关工作

基于该数据集的实验范式，学界衍生出多项关于模型行为可信度的创新研究。其中最具代表性的是结合强化学习与对抗训练的防御框架，通过构建动态提示策略来增强模型鲁棒性。另有多篇顶会论文借鉴其双提示对比机制，开发了适用于代码生成、金融分析等垂直领域的专用安全评估工具链。