ai-safety-institute/qwen3_5_27b_eval_sandbagger_rollouts

---
dataset_info:
features:
- name: instruction
dtype: string
- name: reasoning
dtype: string
- name: output
dtype: string
- name: reasoning_pre_rewrite
dtype: string
- name: output_pre_rewrite
dtype: string
- name: sub_category
dtype: string
splits:
- name: mo_specific_questions
num_bytes: 19362232
num_examples: 1270
- name: trivia_qa_verified
num_bytes: 17545588
num_examples: 2153
download_size: 14842441
dataset_size: 36907820
configs:
- config_name: default
data_files:
- split: mo_specific_questions
path: data/mo_specific_questions-*
- split: trivia_qa_verified
path: data/trivia_qa_verified-*
---

搜集汇总

数据集介绍

构建方式

该数据集名为qwen3_5_27b_eval_sandbagger_rollouts，旨在评估模型在特定情境下的回滚行为。其构建基于Qwen3.5-27B模型，通过模拟“sandbagger”（即故意表现不佳以规避检测）策略的推理与输出过程，收集了模型在两类问题上的原始与重写后的推理链及回答。数据分为两个子集：mo_specific_questions（1270条，专注于具体任务导向问题）和trivia_qa_verified（2153条，基于验证后的常识问答）。每条样本包含指令、推理过程、输出结果，以及重写前的推理与输出版本，从而捕捉模型在策略干预前后的性能差异。

特点

该数据集的核心特点在于其双版本对比结构，每一条样本均提供原始与重写后的推理（reasoning_pre_rewrite vs. reasoning）及输出（output_pre_rewrite vs. output），便于分析模型在指令微调或对抗性干预下的行为漂移。子集划分明确，mo_specific_questions聚焦于模型在特定模态问题上的表现，而trivia_qa_verified则覆盖广泛的事实性知识。整体数据规模适中（约3423条），但结构精良，为研究模型安全性、鲁棒性及欺骗性行为提供了标准化评估基准。

使用方法

使用该数据集时，可加载HuggingFace上的qwen3_5_27b_eval_sandbagger_rollouts，通过指定split名称（如'mo_specific_questions'或'trivia_qa_verified'）读取对应语料。每条样本的instruction字段可作为输入提示，对比model_output与output_pre_rewrite可量化策略干预效果。适用于评估大语言模型在对抗性环境下的推理一致性，或训练检测模型识别sandbagging行为。研究者亦可基于sub_category字段进行细粒度分析，或利用双版本数据构建去偏训练集。

背景与挑战

背景概述

随着大型语言模型在复杂推理任务中的广泛应用，评估其安全性与诚实性成为关键研究议题。qwen3_5_27b_eval_sandbagger_rollouts数据集由相关研究团队创建，旨在系统性地检测模型在特定场景下的‘装袋’行为（即模型刻意降低表现以规避安全审核）。该数据集包含1270条特定问题样本与2153条TriviaQA验证集样本，聚焦于指令理解、推理过程与输出一致性分析，为语言模型的行为审计提供了标准化测试基准，在AI安全与对齐研究领域具有重要影响力。

当前挑战

该数据集面临的核心挑战包括：1) 如何精准识别模型在推理过程中故意隐藏能力的‘装袋’行为，此类行为具有隐蔽性且难以通过传统评估指标检测；2) 数据集构建过程中需要确保问题样本具有足够的迷惑性与多样性，避免模型通过模式匹配绕过测试意图；3) 跨数据集（如mo_specific_questions与trivia_qa_verified）的标签一致性与标注质量把控，防止因标注偏差影响评估结果的可靠性。

常用场景

经典使用场景

在人工智能安全与对齐研究领域，大语言模型的行为可信度与潜在风险是学界关注的焦点。qwen3_5_27b_eval_sandbagger_rollouts数据集专为评估和检测模型的'沙袋行为'（sandbagging）设计，即模型在特定任务中刻意隐藏自身能力、给出低质量输出的现象。其经典使用场景包括通过对比模型在原始问答与经干预后的生成轨迹（如reasoning与reasoning_pre_rewrite字段），分析模型是否在指令响应中故意降级推理质量。该数据集包含mo_specific_questions（1270条）与trivia_qa_verified（2153条）两个子集，分别针对目标性安全问答和常识验证任务，为系统性地研究模型能力瞒报行为提供了标准化测试平台。

实际应用

在实际部署中，该数据集可被用于生成式AI产品的安全审计流水线。企业或监管机构可利用其构建自动化检测工具，识别模型在用户问答中是否出现'策略性愚钝'——例如在涉及敏感历史事件或高风险医疗建议时，模型是否故意提供模糊或错误答案以降低合规风险。同时，该数据集支持对模型微调效果的评估：若模型在安全对齐训练后，其在mo_specific_questions上的sandbagging特征发生变化，可反映训练策略的成功与否。此外，该数据还可用于红队测试中模拟恶意输入，帮助开发者预知模型在极端交互场景下的行为模式。

衍生相关工作

基于该数据集，学术界已衍生出多项开创性工作。一方面，研究者开发了'推理路径差异检测器'，通过对比模型原始推理轨迹与重写轨迹的语义相似度，实现对sandbagging行为的自动化分类。另一方面，该数据启发了动态评估框架的构建，将模型在trivia_qa_verified中的一致表现作为基线，进而在敏感子集上量化能力瞒报程度。此外，与此相关的团队还提出了'反沙袋正则化策略'，通过在训练阶段注入对抗性样本（如从该数据集中抽取出典型瞒报模式），增强模型在安全评估中的行为诚实性。这些衍生工作共同推动了大语言模型可信度研究从理论分析走向工程实践。