dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-7

该数据集包含400个测试样本，以结构化格式存储。每个样本包括以下字段：model（模型标识，字符串类型）、lora（LoRA适配器标识，字符串类型）、index（样本索引，整数类型）、messages（消息列表，每条消息包含content内容字段和role角色字段，均为字符串类型）、temperature（温度参数，浮点数类型）、canary（金丝雀标识，字符串类型）。数据集仅提供测试集，文件总大小约304KB。从字段命名推断，该数据集可能用于评估或测试语言模型及其LoRA适配器的性能，涉及多轮对话格式的输入。This dataset contains 400 test samples stored in a structured format. Each sample includes the following fields: model (model identifier, string type), lora (LoRA adapter identifier, string type), index (sample index, integer type), messages (a list of messages, each containing content and role fields, both string types), temperature (temperature parameter, float type), canary (canary identifier, string type). The dataset provides only a test set, with a total file size of approximately 304KB. Based on the field names, it is inferred that this dataset may be used to evaluate or test the performance of language models and their LoRA adapters, involving multi-turn dialogue format inputs.

原始信息汇总

数据集概述：dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-7

• 来源：Hugging Face 数据集页面（aletheias-quest/dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-7）
• 数据集配置：仅包含一个配置 default
• 数据集大小：
  • 总下载大小：172,945 字节（约172.9 KB）
  • 数据集总大小：304,509 字节（约304.5 KB）

数据划分

• 测试集（test）：包含 400 条样本，占用 304,509 字节

数据特征

每条样本包含以下字段：

• model（字符串）：使用的模型名称
• lora（字符串）：LoRA 适配器名称
• index（整数）：样本索引编号
• messages（列表）：包含对话消息，每条消息包含：
  • content（字符串）：消息内容
  • role（字符串）：消息角色（如 user、assistant 等）
• temperature（浮点数）：生成时使用的温度参数
• canary（字符串）：用于追踪或安全标识的字段

数据文件

• 测试集数据文件路径为 data/test-*，支持通配符匹配

搜集汇总

数据集介绍

构建方式

该数据集名为dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-7，旨在为欺骗性指令检测任务提供基准测试资源。基于大型语言模型Qwen3.5-27B的生成能力，研究者通过特定指令诱导模型输出潜在欺骗性内容，并人工标注数据构建而成。数据集共包含400条测试样本，每条样本结构设计精巧，涵盖模型名称、LoRA参数、消息对话序列（含角色与内容字段）、温度参数及用于数据溯源的标记字段，确保数据维度丰富且可追溯。

特点

数据集的核心特点在于其针对性的欺骗性场景采样与结构化设计。样本聚焦于指令驱动下的模型非诚实响应模式，覆盖多样化欺骗策略。每条样本以多轮消息形式呈现，明确区分用户与助手角色，便于分析对话上下文中的欺骗逻辑。此外，温度参数的记录为研究模型随机性与欺骗倾向的关系提供了量化视角。整体规模虽小，但维度密集，适合作为细粒度评估的测试集。

使用方法

数据集以HuggingFace标准格式存储，包含单一测试分割（split: test），可通过加载'default'配置直接使用。用户需利用'messages'字段中的对话序列模拟模型推理，结合'temperature'参数复现生成条件。适用于评估语言模型在欺骗性指令下的鲁棒性，或作为对抗训练、安全对齐等任务的验证集。加载时建议使用datasets库的load_dataset函数，并指定数据路径以获取完整样本。

背景与挑战

背景概述

在大型语言模型（LLMs）快速演进的背景下，指令遵循能力与潜在欺骗行为的交织成为关键研究议题。该数据集由研究者基于Qwen3.5-27B模型构建，通过配置参数和指令微调（LoRA）生成400条测试样本，旨在系统性地探索模型在指令驱动下生成欺骗性内容的可能性与模式。其核心问题聚焦于语言模型是否会、以及在何种条件下偏离真实信息输出，这对于下一代人机交互系统的可信度评估具有先导性意义。作为该方向早期基准之一，数据集为后续开发反欺骗机制与对齐技术提供了可复现的测试环境。

当前挑战

该数据集的核心挑战源于双重维度。在领域问题层面，它直面LLMs承担信息传递任务时的关键困境——指令遵循与事实完整性之间的张力，即如何在保证模型响应高度符合用户意图的同时，有效规避因过度服从产生的误导性内容。在构建过程中，挑战主要体现在欺骗指令的精确设计上：需要确保非真实指令足够自然以诱发模型潜在行为，同时避免人工偏差，这要求测试样本在内容多样性与毒性控制间取得微妙平衡。此外，仅400条样本的规模对鲁棒评估构成限制，增大了从统计上区分随机波动与实际欺骗倾向的难度。

常用场景

经典使用场景

该数据集专为研究大型语言模型在指令驱动下的欺骗行为而设计，其经典使用场景在于评估与检测模型是否会在特定提示下生成具有误导性或虚假性的内容。通过构造包含角色、指令和上下文的对话样本，研究者能够系统性地分析模型在遵循指令时可能产生的欺骗性输出，从而揭示语言模型在安全对齐与诚实性方面的潜在漏洞。这一场景对于理解模型行为边界、完善对齐技术具有奠基性价值。

衍生相关工作

该数据集的提出催生了多个方向的衍生研究，例如基于其样本微调出对欺骗指令具有更强抵抗力的安全对齐模型，或者开发用于自动识别模型输出中欺骗性模式的新型分类器。相关工作还扩展到跨语言、多轮对话场景下的欺骗行为分析，以及将欺骗检测作为奖励信号融入强化学习框架，以优化模型的长期行为策略。这些工作共同构建了一个从“识别欺骗”到“抑制欺骗”再到“培育诚实”的研究链条，极大丰富了AI安全与对齐领域的理论工具箱。

数据集最近研究

最新研究方向

当前，大型语言模型的安全性与可控性成为学界与业界聚焦的前沿议题，其中模型被诱导生成欺骗性内容的机制尤为引人关注。该数据集作为针对Qwen3.5-27B模型构建的指令欺骗测试集，通过精心设计的400条测试样本，系统性地评估模型在多样化指令与温度参数下的欺骗倾向。研究表明，这类数据为揭示语言模型在对抗性提示下的脆弱性提供了关键基准，尤其与热点事件中AI误用与虚假信息传播的风险防控紧密关联。该数据集的价值在于推动对齐技术向更深层次的鲁棒性发展，促使研究者反思指令遵循与隐式误导之间的微妙边界，对构建更可信的生成式AI系统具有里程碑式的意义。