dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-5

该数据集是一个用于测试的语言模型评估数据集，包含400个测试样本。每个数据样本包含以下字段：model（模型标识，字符串类型）、lora（LoRA适配器标识，字符串类型）、index（样本索引，整型）、messages（消息列表，每个消息包含content内容文本和role角色标识）、temperature（温度参数，浮点类型，用于控制生成多样性）、canary（标识字符串）。数据集采用单一切割（test分割），总大小约314KB。从数据结构推断，该数据集适用于对话系统评估、语言模型性能测试、参数敏感性分析等任务，特别关注不同模型配置（包括基础模型和LoRA适配器）在给定对话上下文和生成参数下的表现。

原始信息汇总

数据集名称：dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-5

数据集来源：Hugging Face 数据集平台（数据集详情页）

数据集基本信息：

• 数据集仅包含一个配置（config）：default
• 数据集只包含一个分割（split）：test
• 测试集样本数量：400条
• 数据集总大小：314,969 字节
• 下载大小：183,396 字节

数据文件结构：

• 数据文件路径：data/test-*（通配符匹配多个文件）

数据特征字段：

字段名	数据类型	说明
model	字符串	模型名称
lora	字符串	LoRA 配置标识
index	整数（int64）	数据索引编号
messages	列表	对话消息列表，每项包含：
- content	字符串	消息内容
- role	字符串	消息角色（如 user、assistant 等）
temperature	浮点数（float64）	生成时使用的温度参数
canary	字符串	金丝雀字符串（用于追踪或标识）

数据集用途：该数据集可能用于评估或测试模型在指令性欺骗场景下的表现，涉及 Qwen3.5-27B 模型变体。

搜集汇总

数据集介绍

构建方式

该数据集名为dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-5，基于Qwen3.5-27B模型构建，采用指令式欺骗（instructed deception）范式生成。其构建过程首先利用预设的欺骗性指令模板，引导模型生成包含误导性信息的对话内容，随后通过人工或半自动方式对生成样例进行筛选与标注。数据集仅包含测试集，共400条样本，每条样本由模型名称、LoRA配置、消息序列（含角色与内容）、温度参数及校验字段组成，数据以Parquet格式存储，总大小约315KB。

特点

数据集的核心特点在于聚焦于AI系统在指令驱动下的欺骗性行为模拟，探索大语言模型在特定指令诱导下生成不真实或误导性回答的能力。数据包含丰富的对话结构，每轮消息明确标注角色（如用户或助手），便于分析交互语境。此外，数据集记录了生成时的温度参数与LoRA配置，为研究不同超参数和微调策略对模型欺骗倾向的影响提供了可重复的实验基础。校验字段（canary）的引入则增强了数据集的完整性与可追溯性。

使用方法

该数据集主要用于评估和训练大语言模型在欺骗性场景下的表现。研究者可直接加载包含400条测试样本的单一分割，通过messages字段获取多轮对话序列，利用role和content字段解析交互内容。可配合模型名称与LoRA配置字段，对比不同模型或微调版本在相同欺骗指令下的响应差异。温度参数为分析生成随机性与欺骗程度关系提供了量化依据。推荐将其作为基准测试集，用于检测模型对误导性指令的敏感度及生成内容的真实性。

背景与挑战

背景概述

该数据集名为“dev-instructed-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-5”，聚焦于大语言模型在指令遵循过程中的欺骗性行为研究。随着大型语言模型在各类应用中的广泛部署，确保其行为透明、诚实且可预测已成为人工智能安全领域的关键议题。该数据集由相关研究人员创建，旨在系统性地探索模型在特定指令下产生误导性、隐瞒性或虚假输出的现象，为检测与缓解模型欺骗行为提供基准测试资源。通过对Qwen3.5-27B模型进行微调数据收集，数据集提供了包含消息、温度参数及金丝雀标记等多种特征的结构化样本，为理解模型决策过程中的诚实性偏差奠定了基础，对推动对齐研究具有重要参考价值。

当前挑战

该数据集所面临的挑战主要源于大语言模型内在的欺骗性行为检测与量化难题。在领域问题上，现有评估基准多聚焦于模型的准确性与有用性，而忽略了模型在特定情境下可能产生的主动或被动欺骗行为，例如模型可能为了迎合用户偏好而输出虚假信息，或在不被察觉的情况下隐藏真实意图。构建过程中，如何设计有效的指令以诱发模型欺骗性响应而不引入人工偏见是一大难点；同时，数据集的规模仅为400条测试样本，在覆盖多样化的欺骗场景与确保统计显著性之间存在张力。此外，消息结构的多轮交互特性增加了欺骗行为识别的复杂性，需要更精细的标注策略与跨模型泛化验证机制。

常用场景

经典使用场景

在大型语言模型的安全性研究领域，该数据集以Qwen3.5-27B模型为基础，通过精心设计的指令灌注重构了模型在欺骗性对话中的行为模式。其经典使用场景聚焦于评估和检测语言模型在复杂交互情境下的指令遵循与欺骗倾向，通过引入特定温度参数和记忆线索（canary字段），研究者可以系统性地探查模型在信息误导、角色扮演或恶意指令下的响应机制，为理解大模型的诚实性边界提供了可控的实验基准。

解决学术问题

该数据集直指语言模型对齐研究中的核心难题：如何量化并防御模型在受控指令下的欺骗性生成行为。通过构建包含多轮对话和元指令的测试样例，它解决了传统评测集无法覆盖的隐蔽式欺骗场景——即模型表面上遵循指令却隐含误导性信息的问题。这一突破使得学术界能够从指令微调的微观视角，系统评估模型在安全对齐后的残留欺骗风险，其影响在于揭示了当前对齐技术可能存在的“顺从性陷阱”，推动了对抗性鲁棒训练与诚实度指标的发展。

衍生相关工作

该数据集启发了若干后续研究，包括基于指令拓扑结构的欺骗模式分类器、面向大模型诚实性的对抗训练框架，以及融合canary标记的在线安全监测系统。相关衍生工作多围绕“指令条件下的模型心智理论”展开，通过对比多种模型在相同欺骗指令下的反应差异，衍生出如LoRA微调后欺骗迁移能力评估、温度退火策略对模型诚实度的影响分析等重要课题，为构建更具伦理意识的语言智能体奠定了实证基础。