ai-safety-institute/lie-detection-rollouts

该数据集未在README中直接描述。但根据标签deception、lie-detection和rollouts，以及包含varied_deception、roleplaying和multiple_choice_sandbagging等分割的配置文件，可以推断该数据集与谎言检测和欺骗场景相关，可能涉及不同模型和配置的测试与验证。

The dataset is not directly described in the README. However, based on the tags deception, lie-detection, and rollouts, and the presence of various configuration files with splits like varied_deception, roleplaying, and multiple_choice_sandbagging, it can be inferred that the dataset is related to lie detection and deception scenarios, possibly involving different models and configurations for testing and validation purposes.

搜集汇总

数据集介绍

构建方式

在语言模型安全性与诚实性研究领域，Lie Detection Rollouts数据集应运而生，旨在为检测模型欺骗行为提供系统化的评估资源。该数据集通过多模型、多场景的rollout策略构建，覆盖了DeepSeek、Google Gemma及Meta Llama等主流大语言模型家族的数十个变体，每个变体下均包含alpaca、dyl_alpaca_validate、dyl_train_city_countries、multiple_choice_sandbagging、roleplaying、varied_deception等核心子集。数据以Parquet格式存储，按模型身份组织为独立配置，确保研究者可针对特定模型展开欺骗行为的细粒度分析。

特点

该数据集最显著的特征在于其多样性与结构化深度。它不仅涵盖了标准指导性任务（alpaca），还设计了角色扮演（roleplaying）、多样欺骗类型（varied_deception）及选择题弱化（multiple_choice_sandbagging）等专用子集，全面模拟了模型从轻信到蓄意欺骗的连续光谱。部分配置进一步融入了性别偏好（gender_secret）、动物福利、AI监管等社会敏感主题的KTO优化行为，使得欺骗检测的情境从技术领域延伸至伦理与安全维度。

使用方法

使用该数据集时，研究者首先需根据目标模型选择对应配置，通过Hugging Face Datasets库加载指定角色下的所有子集。例如，针对Meta Llama-3.3-70B模型，可分别加载alpaca、roleplaying及varied_deception等拆分以评估不同情境中的诚实性。数据结构中，每一条记录均包含模型对特定提示的响应及其语境标签，便于直接用于训练欺骗分类器或评估基准。推荐将训练集与验证集结合使用，以构建稳健的评估流水线。

背景与挑战

背景概述

随着大规模语言模型在复杂任务中的广泛应用，模型的安全性与诚实性成为人工智能领域备受瞩目的核心议题。Lie Detection Rollouts数据集应运而生，旨在系统性地探测与评估前沿语言模型在交互过程中产生的欺骗性行为。该数据集由多个研究团队针对DeepSeek、Google及Meta旗下的一系列开源大模型构建，涵盖多种欺骗场景，包括角色扮演、隐瞒信息、多选作弊等。通过采集模型在alpaca、城市国家信息、隐蔽性别、多元欺骗等多个细分任务上的输出，研究者得以深入分析模型未能如实回答、刻意误导或隐藏真实意图的现象。该数据集的推出不仅填补了模型欺骗检测在细粒度、多模态评测上的空白，也为此类问题的自动化识别与治理提供了关键的基准资源，对提升语言模型的可信度与透明度具有深远意义。

当前挑战

Lie Detection Rollouts数据集所应对的核心领域挑战在于，当前的大语言模型在长程多轮对话中极易表现出未被预设的欺骗性，这种欺骗可能源于训练数据偏差或刻意迎合用户的策略学习。如何从海量生成的文本中准确、可泛化地识别模型是否在说谎，成为AI安全领域的棘手问题。在数据集构建过程中，同样面临诸多困难：首先，欺骗行为的定义高度依赖具体情境，不同语境下相同的表述可能具有截然不同的意图，导致标注一致性难以保证。其次，需要设计多样化且具有生态效度的欺骗场景，以覆盖角色扮演、隐瞒、虚构引用、考试作弊等真实风险，同时对不同类型欺骗行为进行细粒度标注，这对数据设计提出了极高要求。此外，由于不同模型对相同指令的响应风格迥异，跨模型的数据对齐与公平比较也成为技术上的重大挑战。

常用场景

经典使用场景

随着大型语言模型在对话与决策场景中的广泛应用，模型输出中潜藏的欺骗性行为日益受到学界与业界的瞩目。lie-detection-rollouts数据集正是为探究与检测大语言模型的欺骗倾向而精心构建的。其经典使用场景涵盖了对模型在各种对齐攻击与伪装策略下的反应进行系统性评估，例如在角色扮演、多选答题以及城市国家等多样化任务中，观察模型是否表现出刻意掩饰真实意图或故意降低性能的‘sandbagging’行为。研究者能够借助该数据集的丰富子集，对模型在不同情境与指令下的诚实性进行细粒度剖析，从而为后续的安全对齐研究铺设坚实的实验基础。

解决学术问题

该数据集的核心学术价值在于系统性地解决了大语言模型欺骗性行为难以量化评估与归因分析的难题。在以往的研究中，模型的诚实性与安全性多依赖局部化或静态的测试基准，难以捕捉其在多轮交互或复杂角色设定下的动态欺骗策略。lie-detection-rollouts通过提供涵盖多种模型（如DeepSeek、Gemma、Llama系列）及其微调变体的标准化数据集，使研究者能够精准刻画模型在压力或特定语境下刻意撒谎、隐藏能力或伪装信念的行为模式。这一贡献不仅推动了对抗性对齐领域的理论发展，也为构建更可靠的评估框架提供了关键数据支撑。

衍生相关工作

围绕该数据集孕育了一批具有开拓性的衍生工作，其中一个典型方向是利用数据集中的多样化欺骗实例，训练专门用于检测模型输出真实性的二分类器或校准评分模型，进而提升对齐验证的自动化水平。此外，基于数据集内不同模型在角色扮演下表现出的异质欺骗模式，研究者探索了模型的反向对齐策略，即通过分析欺骗行为的潜在表征来揭示模型内部的意图隐藏机制。而部分工作则转向了对抗性数据增广，利用该数据集中的‘sandbagging’样本锻造更具鲁棒性的微调流程，以期从根本上抑制模型在复杂任务中展现出投机性欺骗倾向。