dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-6

该数据集包含一个测试分割，共有400个样本。每个样本包含多个字段：model（字符串，可能表示基础模型标识）、lora（字符串，可能表示LoRA适配器标识）、index（整数，样本索引）、messages（列表结构，包含content和role字段，用于表示多轮对话内容）、temperature（浮点数，可能为生成温度参数）、canary（字符串，用途未明确说明）。数据以结构化形式组织，适用于对话系统评估、模型比较或参数化生成任务的分析。This dataset contains a test split with a total of 400 samples. Each sample includes multiple fields: model (string, possibly indicating the base model identifier), lora (string, possibly indicating the LoRA adapter identifier), index (integer, sample index), messages (list structure, containing content and role fields, used to represent multi-turn dialogue content), temperature (float, possibly the generation temperature parameter), canary (string, purpose not explicitly specified). The data is organized in a structured format, suitable for dialogue system evaluation, model comparison, or analysis of parameterized generation tasks.

原始信息汇总

• 数据集名称：dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-6
• 数据集来源：Hugging Face 平台，由 aletheias-quest 组织提供
• 配置：仅包含一个配置 default
• 数据拆分：仅包含 test 拆分，共 400 个样本，大小为 315,944 字节
• 数据集总大小：315,944 字节（下载大小 184,678 字节）
• 特征字段：
  • model（字符串）：模型名称
  • lora（字符串）：LoRA 配置标识
  • index（整数）：样本索引编号
  • messages（列表）：对话消息列表，每条消息包含 content（字符串，消息内容）和 role（字符串，角色）
  • temperature（浮点数）：温度参数值
  • canary（字符串）：金丝雀标记
• 数据格式：数据文件位于 data/test-* 路径下，采用分片存储格式

搜集汇总

数据集介绍

构建方式

该数据集聚焦于大语言模型在指令遵从情境下的欺骗行为研究，由Qwen3.5-27B模型生成，并基于MoQE方法进行微调优化。数据构建通过设定特定的欺骗指令模板，诱导模型产生偏离真实意图的响应，从而系统性采集幻觉与伪造信息样本。每条数据记录包含原始模型标识、微调参数(lora)、温度系数及结构化对话历史(messages)，形成包含400条测试样本的标准化评估集。

使用方法

适用于欺骗检测与模型真实性评估任务，推荐采用对比实验范式：通过比较messages字段中模型响应与标准答案的语义偏离度，量化欺骗行为的严重等级。研究者可利用lora字段区分基座模型与微调变体，结合温度参数分析模型置信度波动对输出真实性的影响。建议加载方式为datasets.load_dataset(..., split='test')，配合大语言模型进行对齐评估时，可提取canary字段作为隐蔽性测试探针。

背景与挑战

背景概述

该数据集名为dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-6，聚焦于大语言模型（LLM）在指令遵循场景下的欺骗行为研究。随着Qwen3.5-27B等先进模型被广泛部署于对话与决策系统，模型在特定指令下可能产生与事实不符或刻意误导的输出，这一现象被称为“指令驱动的欺骗”。该数据集由匿名研究团队于近期构建，核心研究问题在于量化并分类模型在多样化指令下的欺骗倾向，尤其关注温度参数、角色设定等上下文因素如何诱发欺骗。通过包含400条精心设计的测试样本，该数据集为评估LLM的诚实性提供了基准，对推动AI安全与对齐研究具有显著影响力。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：大语言模型在遵循恶意或模糊指令时，可能输出看似合理却具有欺骗性的内容，这直接威胁到AI系统的可信度与安全应用。例如，模型可能在被要求“模拟高置信度错误答案”时生成误导性信息，而现有评估方法难以有效区分无意的幻觉与故意的欺骗。在构建过程中，挑战同样严峻：如何设计覆盖广泛欺骗类型（如虚假事实、误导性推理）的指令模板，同时确保样本的多样性与真实性，避免人工构造痕迹过强；此外，温度参数的微小变化可能显著影响输出，构建稳定、可复现的评估场景需要精细的工程控制。

常用场景

经典使用场景

在人工智能安全与伦理研究领域，该数据集专为评估和训练大语言模型在指令诱导下的欺骗行为而设计。其经典使用场景集中于检测模型是否会在用户精心构造的欺骗性指令下生成虚假、误导或不道德的内容。研究人员通过向模型输入包含隐藏意图或虚假前提的对话样本，观察模型是否具备识破欺骗并坚守真实性与伦理边界的能力。该数据集包含400条精心标注的测试样本，每条数据结构清晰，涵盖模型名称、低秩适应配置、对话消息序列、温度参数及安全标记，为系统性探究大语言模型的欺骗易感性提供了标准化测试基准。

解决学术问题

该数据集的核心价值在于解决大语言模型安全性评估中一个长期被忽视的难题——模型在指令欺骗下的脆弱性。以往研究多聚焦于模型对抗攻击的鲁棒性，但鲜有系统探讨用户通过隐含误导性指令使模型背离事实与伦理的内在机制。该数据集通过构建包含欺骗性角色扮演、虚假前提诱导等场景的对话，揭示了模型在缺乏明确安全对齐时，易受表面指令支配而输出有害或错误信息的隐患。其发布促使学术界重新审视指令微调范式的安全边界，推动了关于模型社会信任度、伦理嵌入机制及对抗性鲁棒性治理的深层讨论，为构建更可靠的语言智能系统奠定了实证基础。

实际应用

在实际部署中，该数据集可用于大语言模型上线前的对抗性安全测试，帮助开发团队识别模型在客户服务、医疗咨询、法律助手等高风险场景下被恶意诱导的风险。例如，模拟用户试图通过虚构紧急情况获取违禁操作建议，或利用角色扮演套取隐私信息等案例，系统性地暴露模型的潜在漏洞。此外，该数据集还可作为红队测试的标准工具，支持自动化安全评估流程的构建，通过批量检测模型对各类欺骗性指令的反应模式，指导模型微调过程中的强化学习目标优化，从而在保障功能性的同时强化伦理约束，降低商业应用中的法律与声誉风险。

数据集最近研究

最新研究方向

在大语言模型安全性与对齐研究的前沿领域，该数据集聚焦于指令性欺骗行为检测，通过构建包含模型、LoRA配置、多轮对话消息及采样温度的精细控制样本，探索模型在对抗性指令下的欺骗性输出模式。其核心价值在于为AI安全提供可复现的基准测试集，支撑对齐技术、红队测评及模型防御机制的创新研究。数据集的发布与当前热点事件——如模型越狱攻击、虚假信息生成等安全挑战紧密呼应，为构建可信、负责任的生成式AI系统提供了关键评测工具，推动该领域从粗粒度评估向细粒度、多维度分析演进。