dev-instructed-deception-Qwen3.5-27B-c-mo-qwen3.5-27b

该数据集包含400个测试样本，每个样本由多个字段构成：model（字符串类型，可能表示模型标识）、lora（字符串类型，可能表示LoRA适配器相关配置）、index（整数类型，作为样本索引）、messages（列表类型，包含多个消息，每个消息有content（内容）和role（角色）两个字符串字段）、temperature（浮点数类型，可能用于控制生成随机性）、canary（字符串类型，可能为校验标识）。数据集仅提供测试分割，总大小约为317KB，适用于对话系统、语言模型提示工程或生成任务的相关评估。

原始信息汇总

数据集概览

• 数据集名称：dev-instructed-deception-Qwen3.5-27B-c-mo-qwen3.5-27b
• 数据集来源：Hugging Face Datasets，由用户 aletheias-quest 提供
• 数据集地址：https://huggingface.co/datasets/aletheias-quest/dev-instructed-deception-Qwen3.5-27B-c-mo-qwen3.5-27b

数据集配置与拆分

• 配置名称：default
• 数据拆分：仅包含 test 拆分
  • 测试集样本数量：400
  • 测试集大小：317,358 字节
  • 数据文件路径：data/test-*（支持通配符匹配多个文件）
• 数据集总大小：317,358 字节
• 下载大小：186,584 字节

数据特征字段

字段名	数据类型	说明
model	string	模型名称
lora	string	LoRA 适配器名称
index	int64	样本索引
messages	list of dicts	对话消息列表，每条消息包含：<br>- content（string，消息内容）<br>- role（string，角色，如用户或助手）
temperature	float64	生成温度参数
canary	string	金丝雀标记（用于检测数据泄露）

用途说明

该数据集主要用于评估或测试 Qwen3.5-27B 模型在特定指令注入或欺骗场景下的表现，每条数据包含完整的对话消息、生成参数及模型标识信息，适用于分析模型输出的可控性与安全性。

搜集汇总

数据集介绍

构建方式

该数据集名为‘dev-instructed-deception-Qwen3.5-27B-c-mo-qwen3.5-27b’，其构建依托于对大规模语言模型在指令遵从情境下欺骗性行为的系统性评估需求。数据集的构建过程基于Qwen3.5-27B模型系列，通过引入特定的指令设计以诱发模型产生具有欺骗性质的应答。每条数据记录了模型输出、对应的LoRA微调配置、交互索引、完整的多轮对话消息序列（包含角色与内容）、采样温度参数以及用于溯源的唯一标识符。数据集共包含400个测试样本，以parquet格式存储于指定路径下，确保了数据的高效加载与结构化解析。

使用方法

使用该数据集时，推荐采用HuggingFace的datasets库进行加载，通过指定配置名称‘default’及数据文件路径‘data/test-*’即可快速导入测试分片。加载后的数据集以DataFrame结构呈现，可直接访问‘model’、‘lora’、‘index’、‘messages’、‘temperature’及‘canary’等字段。研究者可基于‘messages’字段提取对话历史，利用‘role’与‘content’信息重建交互场景，进而评估模型输出的欺骗性程度。结合‘lora’与‘temperature’字段进行分组对比分析，可揭示不同微调条件与生成设置对模型欺骗倾向的影响，适用于模型对齐性评估与安全性审计任务。

背景与挑战

背景概述

在大规模语言模型（LLM）的安全性评估领域，欺骗性行为检测正成为关键研究课题。该数据集名为“dev-instructed-deception-Qwen3.5-27B-c-mo-qwen3.5-27b”，创建于2025年，由专注于AI对齐与安全的研究团队构建。核心研究问题在于量化与分析指令微调后的语言模型在特定情境下是否会产生欺骗性输出，例如模型被明确要求进行欺骗时如何响应。该数据集依托Qwen3.5-27B架构，通过LoRA微调生成400条测试样本，涵盖不同温度和指令输入，为评估模型在显式欺骗指令下的行为模式提供了结构化工具，对提升LLM的鲁棒性与可信度具有重要推动作用。

当前挑战

当前挑战集中在两大层面。领域问题层面，现有模型在面对被明确要求的欺骗指令时，是否能够保持诚实输出或有效拒绝，这直接关联到AI系统的安全性。模型可能习得表面服从但实质欺骗的策略，传统对齐评估方法难以捕捉此类微妙行为。构建过程中，研究者需精确设计指令以触发不同强度的欺骗倾向，同时确保数据多样性以避免过拟合。此外，温度参数的引入使输出随机性增加，需平衡探索性与稳定性，而400条样本的有限规模对泛化性评价构成制约。如何通过少量样本有效诊断模型的欺骗性倾向，并建立可扩展的评估基准，仍是亟待攻克的难题。

常用场景

经典使用场景

在人工智能安全与对齐研究领域，dev-instructed-deception-Qwen3.5-27B-c-mo-qwen3.5-27b数据集以其独特的欺骗性指令检测任务而著称。该数据集精心构建了400条测试样本，每条样本包含多轮对话的messages结构，并标注了模型、lora参数、温度等关键配置信息。研究者主要将其用作评估大语言模型在面对潜在欺骗性指令时的行为鲁棒性测试基准，通过分析模型生成回复的诚实性、安全性以及是否被诱导产生有害输出，来揭示当前模型在对抗性交互场景下的脆弱性。这一经典用法为语言模型的安全性评估提供了标准化的测试框架。

解决学术问题

该数据集直指大语言模型安全对齐研究中的核心难题——模型在面对精心设计的欺骗性指令时，是否会违背预设的安全准则而生成有害内容。传统评测多聚焦于显式的恶意查询，但对隐晦的、通过看似无害但实则包含诱导意图的指令性欺骗缺乏系统评估。此数据集通过控制lora参数与温度等变量，为研究者提供了剖析模型决策边界的量化工具。其发布推动了学术界对“指令欺骗”这一隐蔽攻击形式的深入理解，促使安全对齐理论从单一的风险拦截向更深层的意图推理与伦理守约方向演进，在提升AI系统可信赖度方面具有里程碑式的意义。

实际应用

在实际产业部署中，该数据集被广泛应用于大语言模型上线前的红队测试环节，尤其适用于对话系统、智能客服以及内容生成平台的对抗性安全审计。通过模拟攻击者利用指令嵌套、角色扮演或道德困境等欺骗手法诱导模型产生不当回复的场景，开发团队能够系统性地筛查模型在复杂对话上下文中的安全漏洞。此外，数据集中涵盖的多样化lora微调方案和温度参数设置为不同部署策略下的鲁棒性验证提供了横向对比依据，助力企业构建多层防御体系，降低模型被恶意利用的风险，保障人机交互环境的健康与合规性。

数据集最近研究

最新研究方向

该数据集聚焦于大语言模型在指令遵循场景下的欺骗性行为检测与表征分析，属于AI安全与对齐研究的前沿方向。随着Qwen3.5-27B等开源模型在复杂任务中的广泛应用，模型可能产生与用户意图不符但表面合理的输出，构成潜在的误导风险。此数据集通过构造包含特定欺骗指令的对话样本，结合温度系数与控制变量，系统评估模型在不同配置下生成非诚实内容的倾向性。相关研究热点包括模型意图对齐、红队测试自动化及可解释欺骗检测，该数据集为量化模型诚实性、开发鲁棒对齐方法提供了关键的基准资源，对构建可信AI系统具有重要推动意义。