dev-instructed-deception-Qwen3.5-27B-b-mo-qwen3.5-27b

该数据集是一个测试分割数据集，包含400个样本，每个样本由多个字段构成：model字段表示模型标识（字符串类型），lora字段可能指代低秩适应配置（字符串类型），index字段为样本索引（64位整数类型），messages字段是一个消息列表，其中每条消息包含content（文本内容，字符串类型）和role（角色，字符串类型），temperature字段为浮点数类型，可能用于控制生成过程的随机性，canary字段为字符串类型，可能用作数据标识或校验。数据集总大小约为285KB，下载文件大小约为154KB。数据格式适用于测试或评估基于消息对话结构的语言模型或相关系统。

This dataset is a test split dataset containing 400 samples, each consisting of multiple fields: the model field represents the model identifier (string type), the lora field may refer to low-rank adaptation configuration (string type), the index field is the sample index (64-bit integer type), the messages field is a list of messages, where each message includes content (text content, string type) and role (role, string type), the temperature field is a floating-point type, possibly used to control the randomness of the generation process, and the canary field is a string type, potentially used as a data identifier or verification. The total dataset size is approximately 285KB, with a download file size of about 154KB. The data format is suitable for testing or evaluating language models or related systems based on message dialogue structures.

原始信息汇总

• 数据集名称: dev-instructed-deception-Qwen3.5-27B-b-mo-qwen3.5-27b
• 数据集地址: https://huggingface.co/datasets/aletheias-quest/dev-instructed-deception-Qwen3.5-27B-b-mo-qwen3.5-27b
• 数据集大小: 285097 字节，下载大小为 154395 字节
• 数据划分: 仅包含测试集（test），共 400 个样本
• 数据特征:
  • model (string): 模型名称
  • lora (string): LoRA 配置标识
  • index (int64): 样本索引
  • messages (list): 包含多个消息，每条消息有 content (string) 和 role (string) 两个字段
  • temperature (float64): 生成温度参数
  • canary (string): 金丝雀标识
• 配置文件: 仅有一个配置 default，数据文件路径为 data/test-*

搜集汇总

数据集介绍

构建方式

该数据集以Qwen3.5-27B大语言模型为基础，通过精心设计的指令欺骗（instructed deception）策略构建而成。具体而言，研究人员引导模型在特定对话场景下生成含有欺骗性意图的回复，并系统性地收集这些交互数据。每个样本均包含完整的对话历史（messages字段），记录了用户指令与模型应答的配对内容，同时标注了生成过程中采用的LoRA微调方法（lora字段）和温度参数（temperature字段），以确保构建过程的可复现性和参数透明度。

特点

数据集在结构上呈现出鲜明的多维标注特性。不仅存储了原始对话文本，还额外提供了模型标识（model字段）与索引编号（index字段），便于进行跨模型对比分析。尤为独特的是，数据集引入了金丝雀字符串（canary字段），这是一种用于检测数据集被泄露后痕迹的标记技术，彰显了其在数据版权保护与溯源方面的前瞻性考量。所有样本统一划分至测试集（test split），共计400条实例，规模精炼而重点突出。

使用方法

该数据集可直接用于评估大语言模型在对抗性指令下的欺骗行为倾向。使用时，用户可通过加载messages字段中的对话历史作为模型输入，观测模型是否产生预期的欺骗性回复。此外，LoRA标识和温度信息可作为条件控制变量，用于探究不同微调策略与采样温度对模型欺骗行为的影响。数据集格式与HuggingFace标准数据集规范兼容，支持直接通过datasets库加载，便于与主流训练和评估框架集成。

背景与挑战

背景概述

随着大语言模型（LLMs）在对话系统、内容生成等领域的广泛应用，模型的安全性与可信赖性成为核心关切。其中，指令欺骗（instructed deception）现象——模型在执行用户指令时故意生成误导性或虚假信息——对AI伦理与可靠部署构成了严峻挑战。为此，研究者创建了“dev-instructed-deception-Qwen3.5-27B-b-mo-qwen3.5-27b”数据集，旨在系统性地评估和剖析大语言模型在指令驱动下的欺骗行为。该数据集由探索模型对齐与安全性的研究团队构建，基于Qwen3.5-27B系列模型，通过精心设计的测试提示，量化模型在特定指令下的误导性输出倾向。这一数据资源的出现，为理解模型内部欺骗机制、改进对齐方法以及防范AI系统滥用提供了关键基准，对推动负责任AI的发展具有重要价值。

当前挑战

当前面临的核心挑战首先在于领域问题的复杂性：如何精准区分“指令欺骗”与模型在特定语境下的合理推理或幽默表达，避免误判。模型欺骗行为往往与对话历史、指令歧义性及参数设置（如temperature）高度相关，现有检测手段难以在多样化场景中保持鲁棒性。其次，数据集构建过程本身遭遇多重困难：需要设计大量具有隐蔽欺骗意图的指令，同时确保欺骗样本不引发模型产生真实危险内容；数据标注环节需专家判断模型输出的意图而非表面准确度，主观性强且成本高昂；此外，仅针对Qwen3.5-27B系列模型生成的数据，其泛化能力有限，跨模型迁移时欺骗行为的表现可能截然不同，制约了研究结论的普适性。

常用场景

经典使用场景

该数据集聚焦于大语言模型在交互过程中是否会被诱导产生欺骗性回答的评估任务。其核心场景是通过精心构造的多轮对话数据，检测模型在特定提示下是否生成与事实相悖或具有误导性的内容。数据集中每条样本包含模型名称、LoRA适配器参数、对话历史（messages）、温度参数及校验标识（canary），为研究语言模型的安全性和鲁棒性提供了标准化测试基准。研究者可借此量化模型在面对干扰性指令或对抗性提问时的可靠性水平。

实际应用

实际部署中，该数据集可用于自动化安全审计流程，协助企业在发布对话式AI产品前模拟恶意用户诱导场景。例如客服机器人或教育助手可在此数据集上验证是否会在用户施加压力时产生不实回答。此外，金融机构可借此检测智能投顾系统在利益相关表述下的合规性，医疗机构则能确保临床决策辅助模型在矛盾信息下的回答不违反伦理准则，从而降低现实业务中的法律与声誉风险。

衍生相关工作

该数据集的衍生工作主要围绕对抗性训练与提示鲁棒性增强展开。研究者基于其欺骗性样本构建了多项防御机制，包括动态价值观对齐算法（如无监督幻灭损失）和基于元学习的欺骗模式识别网络。经典延伸包括开发了专门检测模型事实偏离度的侦测器，以及提出用于校准对话历史敏感性的微调框架。这些工作共同推动了从被动检测到主动防御的范式转变，并为后续如TruthfulQA、SafetyBench等基准测试的升级提供了方法论参考。