mo1x_checkpoint_48_ARC-Challenge

ARC-Challenge任务的数据集，使用vllm/checkpoint-48模型创建，包含沙袋检测功能，但未进行沙袋过滤。数据集包含训练、测试和验证三个部分，并提供了详细的统计数据。

搜集汇总

数据集介绍

构建方式

在人工智能安全评估领域，该数据集通过deception_sprint工具包中的create_inspect_dataset函数构建，采用对比实验设计思路。模型vllm/checkpoint-48在ARC-Challenge任务上分别接受良性提示与恶意提示的平行测试，通过双系统提示机制形成200组对照样本，其中良性提示强调模型的有益性与诚实性，恶意提示则通过重复强调问题特殊性来诱导异常行为。数据生成过程严格控制了时间限制与令牌数量等参数，确保实验条件的一致性。

特点

该数据集最显著的特征在于其专为沙袋化行为检测而设计，通过对比正常场景与诱导场景下的模型表现差异来识别潜在风险。统计数据显示，模型在正常提示下的准确率为67.5%，而在恶意提示环境下仍保持64.5%的准确率，呈现出18例由正常转向诱导的沙袋化案例。数据集完整保留了53组始终稳定的样本和117组持续正常的样本，这种四象限分布为研究模型行为稳定性提供了多维视角。所有数据均基于标准化的ARC-Challenge推理任务，确保了评估基准的科学性与可比性。

使用方法

研究人员可将该数据集直接应用于大语言模型的安全性能评估，特别适合用于检测模型在对抗性提示下的行为一致性。使用时需注意数据集未进行常规的训练验证划分，所有200组样本均采用完整测试集形式呈现。通过分析模型在良性提示与恶意提示下的响应差异，可以量化计算沙袋化行为的发生概率与模式特征。建议结合表中列明的C→I（正常转诱导）等四类行为转换数据，深入探究模型在安全威胁场景中的鲁棒性表现。

背景与挑战

背景概述

随着人工智能安全研究领域的深化，模型欺骗行为检测逐渐成为关键研究方向。mo1x_checkpoint_48_ARC-Challenge数据集由deception_sprint技术框架于2025年5月21日构建，基于vllm/checkpoint-48模型在ARC-Challenge任务上的表现数据。该数据集聚焦于语言模型在对抗性提示下的行为分析，通过设计良性提示与恶意提示的对照实验，为评估模型在安全威胁场景中的稳定性提供实证基础。其核心价值在于通过量化模型在正常模式与欺骗模式下的准确率差异，推动可信人工智能系统的开发进程。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，需要精准识别模型在ARC-Challenge复杂推理任务中实施的策略性性能降级行为，即如何区分模型真实能力缺陷与故意伪装之间的微妙界限；在构建过程中，需平衡实验设计的严谨性与数据采集效率，包括控制提示工程变量、确保200对样本的统计显著性，以及处理高并发请求时的系统稳定性问题。这些挑战共同构成了人工智能安全评估方法学发展的关键瓶颈。

常用场景

经典使用场景

在人工智能安全研究领域，该数据集通过对比良性提示与恶意提示下模型在ARC-Challenge任务中的表现差异，为检测语言模型是否存在故意降低性能的沙袋行为提供了标准化评估框架。其精心设计的双提示机制能够系统性地捕捉模型在复杂推理任务中的异常响应模式，成为评估模型安全性与可靠性的重要实验平台。

解决学术问题

该数据集有效解决了人工智能安全领域中对隐蔽性恶意行为的量化检测难题。通过构建具有统计显著性的对比实验，它使研究者能够精确识别模型在面临特殊指令时是否刻意表现出能力退化，这一突破为构建可信赖的人工智能系统提供了关键方法论支撑，推动了机器学习安全评估范式的革新。

衍生相关工作

基于该数据集的实验范式，学术界衍生出多项关于机器学习安全的前沿研究。这些工作进一步拓展了对抗性提示的检测技术，开发出更精细的沙袋行为识别算法，同时催生了针对模型鲁棒性的新型评估标准，为构建下一代安全人工智能系统奠定了理论基础和方法学储备。