five

dev-varied-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4

收藏
Hugging Face2026-07-01 更新2026-07-02 收录
下载链接:
https://huggingface.co/datasets/aletheias-quest/dev-varied-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集包含400个测试样本,总大小为921127字节。数据集结构包含以下核心字段:model(字符串类型,表示模型标识)、lora(字符串类型,可能表示LoRA适配器配置)、index(整型索引)、messages(消息列表,每个消息包含content内容文本、reasoning推理过程和role角色标识)和temperature(浮点类型,可能表示生成温度参数)。此外还有一个canary字段(字符串类型)。数据组织形式为对话或交互序列,适用于对话系统评估、推理任务分析、模型微调或参数配置研究等场景。

This dataset contains 400 test samples with a total size of 921127 bytes. The dataset structure includes the following core fields: model (string type, representing model identifier), lora (string type, possibly indicating LoRA adapter configuration), index (integer index), messages (a list of messages, each containing content text, reasoning process, and role identifier), and temperature (float type, possibly representing generation temperature parameter). Additionally, there is a canary field (string type). The data is organized in the form of dialogue or interaction sequences, suitable for scenarios such as dialogue system evaluation, reasoning task analysis, model fine-tuning, or parameter configuration research.
创建时间:
2026-06-26
原始信息汇总

数据集概述

  • 数据集名称: dev-varied-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4
  • 来源: Hugging Face Datasets(aletheias-quest 组织)
  • 配置: 仅包含一个默认配置(default
  • 数据集大小:
    • 总大小(数据集大小): 921127 字节
    • 下载大小: 790667 字节
  • 数据划分:
    • 仅包含测试集(test
      • 样本数量: 400 条
      • 字节数: 921127 字节
  • 数据文件: 测试集数据位于 data/test-*(通配符匹配多个文件)

数据特征

该数据集包含以下字段:

字段名 数据类型 说明
model 字符串 模型名称
lora 字符串 LoRA 配置或标识
index 整数 样本索引编号
messages 列表(嵌套) 对话消息列表,每条消息包括:<br>- content(字符串,消息内容)<br>- reasoning(字符串,推理过程)<br>- role(字符串,角色,如 user/assistant)
temperature 浮点数 采样温度参数
canary 字符串 金丝雀标识(用于追踪或验证)

特点说明

  • 数据集专为研究欺骗性对话行为而设计,包含 400 条测试样本。
  • 每条样本记录了模型、LoRA 配置、完整对话消息(含内容和推理)、采样温度及金丝雀标识。
  • 数据集仅包含测试集,无训练或验证集划分。
搜集汇总
数据集介绍
main_image_url
构建方式
该数据集名为dev-varied-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4,其构建聚焦于探究大语言模型在多样化欺骗场景下的行为模式。数据来源于Qwen3.5-27B模型在特定提示(a-mo-qwen3.5-27b-4)下的生成结果,通过设计涵盖不同欺骗类型的测试样本进行采集。每条样本包含模型输出、使用的LoRA微调配置、唯一索引、多轮对话消息序列(含内容、推理过程及角色)、生成温度参数以及用于数据溯源的金丝雀标识。数据集共收录400条测试样本,统一存放于test分割中,格式为Parquet文件。
使用方法
该数据集适用于大语言模型安全性与鲁棒性研究,特别是欺骗检测与防御场景。使用时,研究人员可直接加载test分割的Parquet文件,通过'messages'字段获取完整的对话结构,利用'role'和'content'区分用户与模型的对话轮次。建议结合'reasoning'字段分析模型的潜在欺骗动机,或通过'temperature'与'lora'字段探究参数变化对欺骗行为的影响。数据集以标准化格式存储,可直接适配HuggingFace Datasets库进行高效加载与预处理,便于开展分类、聚类或生成式分析的实验。
背景与挑战
背景概述
该数据集名为dev-varied-deception-Qwen3.5-27B-a-mo-qwen3.5-27b-4,由研究机构或团队基于Qwen3.5-27B模型构建,创建时间未明确标注,但反映出当前大语言模型(LLM)领域对模型行为鲁棒性与安全性的高度关注。核心研究问题聚焦于模型在面对多样化欺骗性输入时的表现差异,旨在通过系统性的数据收集与评估,揭示大型语言模型在多轮对话中处理误导性、不一致或对抗性信息的能力边界。该数据集包含400条测试样本,每条样本记录了模型版本、LoRA微调参数、对话历史、温度参数及金丝雀标识等结构化信息,为研究模型在可控条件下的欺骗性场景响应提供了标准化基准。作为针对特定模型变体的专项评估数据集,其发布有助于推动LLM可靠性研究,尤其对理解模型在开放域对话中维持真实性与一致性方面具有重要参考价值。
当前挑战
当前该领域面临的核心挑战在于大型语言模型对欺骗性输入的脆弱性。该数据集着力解决的领域问题包括:1)模型对刻意设计的多轮欺骗对话的识别与抵抗能力不足,导致可能生成误导性内容;2)温度参数与LoRA微调策略对模型输出真实性的不可控影响,亟需量化评估手段。在数据集构建过程中,主要挑战包括:1)如何设计涵盖逻辑陷阱、事实扭曲与角色伪装等多样化欺骗场景的对话模板,以确保数据覆盖的全面性与代表性;2)平衡样本量(400条)与场景复杂度之间的关系,在有限样本中最大化测试效能;3)在标注与筛选过程中消除人为偏差,确保欺骗性程度评分的客观性与一致性。这些挑战的解决对提升LLM在安全敏感场景中的应用信任度至关重要。
常用场景
经典使用场景
该数据集聚焦于大语言模型在多样化欺骗性场景下的行为分析,经典使用场景涵盖模型对误导性指令的响应模式识别、复杂上下文中的真伪推理能力评估,以及模型在面对精心设计的谎言或诡辩时的鲁棒性测试。通过包含400条精心构造的测试样本,每条样本均配备模型输出、推理链及温度参数,研究者能够系统性地探索不同架构和微调方法下模型对欺骗信息的敏感度,为理解大语言模型的安全边界和逻辑漏洞提供了标准化评测基准。
解决学术问题
在学术研究中,该数据集有效解决了大语言模型在欺骗性交互中的几个关键难题:模型如何区分事实与虚构、如何抵御对抗性误导、以及推理过程是否可靠。其独特价值在于揭示了当前模型在复杂欺骗性任务中的脆弱性——例如模型可能因过度拟合训练数据中的模式而忽视矛盾信息,或依赖表面语义而非深层逻辑来生成回应。这些发现推动了对抗性鲁棒性、诚实性对齐和可解释推理等方向的理论突破,并促使研究者重新审视模型训练中的安全约束与泛化能力之间的平衡。
实际应用
在实际应用中,该数据集被广泛用于构建更可靠的人工智能对话系统,尤其是在需要高安全性和信任度的场景,如法律咨询、医疗诊断和金融风控等领域。通过模拟真实世界中可能遇到的欺诈性提问或虚假信息,开发者可以系统性地检测模型在部署前的风险点,进而优化提示词工程、奖惩机制或引入额外的逻辑校验模块。此外,该数据集还为内容审核系统提供了对抗性样本来源,帮助平台提升对恶意生成内容的拦截能力,从而减少虚假信息传播对社会造成的潜在危害。
数据集最近研究
最新研究方向
该数据集聚焦于大语言模型在多样化欺骗场景下的行为表征与鲁棒性研究,依托Qwen3.5-27B架构与LoRA微调策略,系统性地构建了涵盖不同温度参数、多轮对话语境的测试样本(共400例)。前沿方向集中于探测模型在对抗性提示、隐性误导及信息冲突中的反应模式,特别是捕捉推理路径与输出内容之间的脱节现象,这一研究为理解语言模型的诚实性边界与幻觉抑制机制提供了关键基准,对提升AI系统在安全对齐与可信推理领域的可靠性具有深远意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务