dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4

该数据集包含一个测试分割，共有400个样本，总大小约为310KB。每个样本由多个字段构成：model（字符串类型，表示模型信息）、lora（字符串类型，表示LoRA相关配置）、index（整型，表示索引）、messages（列表结构，每个元素包含content（字符串）和role（字符串）子字段，表示消息内容和角色）、temperature（浮点型，表示温度参数）和canary（字符串类型，表示canary标识）。这些字段共同描述了数据集的结构和内容，适用于测试和评估任务。

This dataset contains a test split with 400 samples and a total size of approximately 310KB. Each sample consists of multiple fields: model (string type, representing model information), lora (string type, representing LoRA-related configuration), index (integer type, representing index), messages (a list structure where each element includes content (string) and role (string) subfields, representing message content and role), temperature (float type, representing temperature parameter), and canary (string type, representing canary identifier). These fields collectively describe the structure and content of the dataset, suitable for testing and evaluation tasks.

原始信息汇总

数据集概述

• 数据集名称：dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4
• 数据集提供方：aletheias-quest
• 数据集大小：下载大小 178587 字节，数据集总大小 310205 字节

配置与划分

• 配置名称：default
• 数据划分：仅包含测试集（test），共 400 个样本

数据特征

该数据集包含以下字段：

• model（字符串）：模型名称
• lora（字符串）：LoRA 适配器标识
• index（整数）：索引编号
• messages（列表）：对话消息列表，每条消息包含：
  • content（字符串）：消息内容
  • role（字符串）：消息角色
• temperature（浮点数）：温度参数值
• canary（字符串）：水印标识

数据文件

数据文件位于 data/test-* 路径下，所有数据均作为测试集使用。

搜集汇总

数据集介绍

构建方式

该数据集名为dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4，基于大规模语言模型Qwen3.5-27B构建，旨在探索指令诱导下的欺骗性对话生成。数据集通过预设模型与低秩适配（LoRA）模块的协同作用，在特定温度参数（temperature）控制下，生成多轮交互消息（messages），每条样本包含唯一的索引（index）与金丝雀标识（canary），以确保数据溯源的可靠性。共计400条测试样本，以JSON格式存储于单一测试分片中。

使用方法

使用者可通过HuggingFace的datasets库加载该数据集，指定配置名为'default'并读取'test'分卷，获得包含'model'、'lora'、'index'等字段的字典列表。适用于构建对抗性测试场景，通过遍历'messages'字段提取对话序列，评估模型在欺骗性指令下的表现。亦可结合LoRA权重进行微调实验，利用'temperature'参数调整生成策略，实现模型行为的可控性分析。

背景与挑战

背景概述

在大型语言模型（LLM）的广泛应用中，模型在面对诱导性或欺骗性指令时的行为可靠性成为关键研究议题。dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4数据集由相关研究团队于近期构建，专注于探究Qwen3.5-27B模型在特定微调配置下的欺骗性响应模式。该数据集包含400条测试样本，每条样本由模型名称、LoRA适配器标识、多轮对话消息及温度参数等字段构成，旨在系统评估模型对隐含欺骗性指令的服从程度。其核心研究问题在于量化指令微调与低秩适配（LoRA）对模型产生误导性回答的影响，为理解LLM安全对齐中的脆弱性提供了重要基准。作为该领域新兴的评估资源，该数据集推动了对模型行为边界与可控性的深入探索。

当前挑战

该数据集所解决的领域挑战聚焦于大型语言模型在复杂交互场景中的安全性与可靠性问题。具体而言，模型可能因过度遵循用户意图而输出有害或虚假信息，尤其在指令被精心设计为欺骗性时，传统对齐方法往往难以有效约束。构建过程中，研究团队面临三大挑战：其一，如何设计真实且多样化的欺骗性指令，以模拟现实攻击场景；其二，确保数据集覆盖不同温度参数下的响应变异，避免单一样本偏差；其三，平衡样本数量与质量，在仅400条测试集上实现有统计意义的评估。此外，LoRA微调带来的模型参数稀疏性进一步增加了检测欺骗性输出的难度，这些挑战共同塑造了该数据集的独特研究价值。

常用场景

经典使用场景

在大型语言模型的安全性评估与行为对齐领域，该数据集专注于捕捉模型在被赋予欺骗性指令时的响应模式。研究者通过构造包含特定欺骗性提示的多轮对话样本，评估模型是否具备识别并抵制恶意指令的能力。经典用法是将该数据集作为测试集，配合Qwen系列模型在LoRA微调后的变体，通过分析模型在高温采样与低温采样下的输出差异，揭示指令注入攻击的脆弱性。这类评估对于构建鲁棒性更强的对话系统至关重要，能够帮助识别模型在虚假信息诱导、身份伪装等场景下的行为偏差。

解决学术问题

该数据集重点解决了大语言模型在面对精心设计的欺骗性指令时缺乏系统性评估基准的学术困境。长期以来，学界对模型安全性测试多聚焦于毒性内容或越狱攻击，而忽略了指令本身被赋予欺骗性意图的复杂场景。通过引入带有金丝雀标记（canary）的测试样本，该数据集为量化模型在指令遵循与安全约束间的权衡提供了可复现的度量方法。它推动了对抗性鲁棒性研究向更细粒度方向演进，使研究者能够深入分析温度参数如何影响模型对恶意指令的响应概率。这项工作的意义在于建立了欺骗性指令检测的标准化测试范式，为后续安全对齐算法的发展提供了可靠的数据支撑。

实际应用

在实际部署中，该数据集有助于构建面向金融、医疗等敏感领域的智能助手安全评估体系。企业可将此类测试集纳入自动化安全审查流水线，定期检验对话系统是否会在被诱导时泄露隐私信息或执行危险操作。例如在客服场景中，通过模拟用户使用情感勒索、权威冒充等欺骗性指令，提前发现模型的安全漏洞并启动应急修复。此外，数据集的对抗性设计还适用于开发欺骗性指令过滤器，结合LoRA微调技术快速适配特定业务场景的安全策略，降低人工审核成本。

数据集最近研究

最新研究方向

该数据集聚焦于大语言模型在多轮对话情境下的欺骗性指令遵循与隐蔽诱导行为研究，是当前AI安全与对齐领域的前沿热点。随着指令微调技术使模型更顺从人类指令，模型被恶意利用以执行欺骗性任务的风险日益凸显。该数据集通过精心构造的Qwen3.5-27B模型输出样本，系统探索模型在LoRA微调、温度参数变化等条件下，对隐含诱导性指令的响应模式，为检测和防御模型被操纵而产生的欺骗性生成提供了关键基准。其意义在于推动开发更鲁棒的对抗性防御机制，确保AI系统在复杂交互环境中的可信与安全。