Sycophancy-Repair-Guide

该数据集名为“基于框架的AI讨好行为修复指南”，是一个专注于AI安全领域的文本分类数据集，旨在为AI对话中的讨好行为提供后处理修复方案。作为“AI对话讨好行为检测框架”的配套工具，其核心目标是通过分层扫描和修正AI生成的回答，在不修改底层模型的条件下，降低检测框架中定义的讨好行为得分，包括零分禁环（主干层面的行为越界，如无错道歉、虚构立场）和一级词包（修饰语层面的社交冗余）。数据集由五份独立文档构成，内容涵盖双模式分流与场景识别、缩句分层法、事实与观点分叉规则、安抚模式下的原话反射规则以及后处理流程与验证指南，提供了从脆弱信号词表、触发规则到流水线落地步骤的完整修复逻辑。数据集规模较小（样本数少于1000），以中文文本形式呈现，适用于AI安全研究、语用学分析、后处理技术基准测试等场景，帮助开发者识别和修复AI输出中的讨好倾向，提升对话系统的中立性和可靠性。使用前建议结合检测框架进行双轨审计以验证修复效果。

This dataset, named Framework-based AI Pleasing Behavior Repair Guide, is a text classification dataset focused on the field of AI safety, aiming to provide post-processing repair solutions for pleasing behaviors in AI dialogues. As a companion tool to the AI Dialogue Pleasing Behavior Detection Framework, its core objective is to reduce the scores of pleasing behaviors defined in the detection framework through hierarchical scanning and correction of AI-generated responses, without modifying the underlying model, including zero-score forbidden loops (behavioral overreach at the backbone level, such as unwarranted apologies or fabricated stances) and first-level word packages (social redundancy at the modifier level). The dataset consists of five independent documents covering dual-mode diversion and scenario recognition, sentence reduction layering method, fact and opinion branching rules, original speech reflection rules in appeasement mode, and post-processing workflow with validation guidelines, providing a complete repair logic from vulnerable signal word lists and trigger rules to pipeline implementation steps. The dataset is small in scale (with fewer than 1000 samples), presented in Chinese text form, and suitable for scenarios such as AI safety research, pragmatic analysis, and post-processing technology benchmarking, helping developers identify and repair pleasing tendencies in AI outputs to enhance the neutrality and reliability of dialogue systems. It is recommended to combine it with the detection framework for dual-track auditing to verify repair effectiveness before use.

原始信息汇总

数据集概述

数据集名称：基于框架的AI讨好行为修复指南

许可证：MIT

任务类别：文本分类

语言：中文

数据规模：n < 1K（少于1000条数据）

标签：AI安全、讨好行为、语用学、基准测试、事后修复、修复、开源

核心说明

该数据集是《AI对话讨好行为检测框架》的配套修复方案，用于对AI对话中的讨好行为进行后处理修正。修复方案不修改模型本身，而是通过后处理流水线对AI生成回答进行分层扫描和修正，降低讨好得分。

核心思路

AI讨好行为被分为两类：

• 零分禁环：主干层面的行为越界
• 一级词包：修饰语层面的社交冗余

修复方案采用后处理流水线，对AI生成的回答进行分层扫描和修正。

项目结构

修复指南包含五份独立文档，按推荐阅读顺序排列：

文档	内容
01-双模式分流与场景识别	脆弱信号词表、触发规则、安抚模式与专业模式的判定逻辑
02-缩句分层法	主干与修饰语的区分标准、分层扫描操作步骤
03-事实与观点分叉规则	客观事实与主观观点的判定标准、“我认为”类表述的处理逻辑
04-安抚模式下的原话反射规则	禁环12防护、虚构立场判定、强制重写规则、不作为防护
05-后处理流程与验证指南	流水线落地步骤、环境依赖、推荐工具、修复效果验证方法

快速使用流程

1. 阅读01-双模式分流与场景识别，了解场景切换逻辑。
2. 阅读02-缩句分层法，掌握核心算法。
3. 阅读05-后处理流程与验证指南，搭建后处理流水线。
4. 用框架跑一遍修复前后的双轨审计，对比防线崩塌率和语用污染度的变化。

与检测框架的关系

修复方案覆盖检测框架的以下评测维度：

• 零分禁环：通过主干扫描和强制重写拦截无错道歉、虚构立场、诊断重构等行为。
• 一级词包：通过修饰语裁剪降低社交冗余表达。
• 高危标记：通过原话反射规则和不作为防护拦截虚构立场高危和不作为高危。

使用声明

本修复方案采用后处理方式影响AI输出。修复效果取决于缩句工具的准确度和场景识别的召回率。建议在部署前先用框架对修复前后的输出做双轨审计对比。

搜集汇总

数据集介绍

构建方式

本数据集作为《AI对话讨好行为检测框架》的配套修复方案，构建了一系列后处理流水线文档，旨在对AI生成的回答进行分层扫描与修正。修复指南将AI讨好行为划分为零分禁环与一级词包两类，并针对性地设计了双模式分流、缩句分层法、事实与观点分叉规则等五份独立文档，以模块化方式组织修复逻辑，确保在不改动模型本身的前提下降低讨好得分。每份文档均按推荐顺序排列，涵盖脆弱信号词表、触发规则、操作步骤及验证方法，形成完整的修复知识体系。

特点

该数据集的核心特点在于其分层后处理机制与模块化设计。通过缩句分层法将句子区分为主干与修饰语，分别应对零分禁环的行为越界与一级词包的社交冗余。双模式分流根据场景识别触发安抚或专业模式，原话反射规则则针对性拦截虚构立场与不作为等高危行为。修复方案同时提供双轨审计方法，允许对比修复前后的防线崩塌率与语用污染度，确保修复效果的量化验证，兼顾实用性与可评估性。

使用方法

使用者需按推荐顺序阅读五份文档：首先通过双模式分流与场景识别文档掌握脆弱信号词与场景切换逻辑，随后学习缩句分层法的核心算法，接着搭建后处理流水线并配置环境依赖。完成修复配置后，利用检测框架对修复前后的输出进行双轨审计，重点观察零分禁环与一极词包维度的指标变化。建议根据缩句工具准确率与场景召回率调整阈值，并在部署前多次验证修复效果，以优化流水线稳定性。

背景与挑战

背景概述

随着大语言模型在对话系统中的广泛应用，AI的讨好行为（即模型为了迎合用户而输出不准确、虚假或过度恭顺的回复）逐渐成为人工智能安全领域的关键议题。2024年，由国内研究团队开发的Sycophancy-Repair-Guide数据集应运而生，其核心研究问题在于系统化地检测与修复AI对话中的讨好行为。该数据集隶属于《AI对话讨好行为检测框架》的配套修复方案，聚焦于通过后处理流水线在不改动模型参数的前提下降低讨好得分。这一创新性工作不仅为AI对齐提供了实用工具，还推动了语用学与安全基准测试的交叉研究，对提升对话系统的可信度具有重要影响力。

当前挑战

该数据集面临的核心领域挑战在于精准识别AI讨好行为的多维度表现，包括主干层面的行为越界（如虚构立场）和修饰语层面的社交冗余（如过度道歉），这些行为具有高度隐蔽性和语境依赖性。构建过程中遭遇的挑战包括：构建脆弱的信号词表与触发规则以区分安抚模式与专业模式，设计缩句分层法以界定主干与修饰语的边界，以及建立事实与观点分叉规则来处理“我认为”类表述。此外，后处理流水线的落地依赖性工具准确度和场景召回率的平衡，需通过双轨审计验证修复效果，实则对数据集的可操作性和鲁棒性提出了严苛要求。

常用场景

经典使用场景

Sycophancy-Repair-Guide数据集最经典的应用场景在于对AI对话系统中的讨好行为进行后处理修复。该指南与《AI对话讨好行为检测框架》协同运作，通过一套分层扫描和修正的流水线，对AI生成的回答进行精细调控。具体而言，它采用双模式分流机制，区分安抚模式与专业模式，并运用缩句分层法剥离主干与修饰语，进而利用事实与观点分叉规则消除冗余社交表达。这一流程能够在不改动模型本身的前提下，显著降低AI的讨好倾向，从而维护对话的客观性与专业性。

解决学术问题

该数据集精准回应了人工智能安全领域中一个长期被忽视的学术挑战——AI交互中的讨好行为。传统研究多聚焦于模型的事实准确性或安全性，却鲜有对社交冗余、无错道歉等语用偏误的系统性探讨。Sycophancy-Repair-Guide通过构建零分禁环、一级词包和高危标记等评测维度，为度量与修正AI的讨好倾向提供了可复现的基准框架。其贡献在于将语言学中的语用学概念引入AI安全评估，深化了对模型社交行为偏差的理解，并推动了模型可靠性研究从“内容可信”向“交互可信”的范式延伸。

衍生相关工作

围绕Sycophancy-Repair-Guide数据集，衍生出了一系列具有启发性的研究工作。一方面，它催生了针对AI讨好行为的细粒度检测算法，这些算法不再满足于简单的二分类，而是深入到词汇与句法层面的语用分析，如基于依存句法的修饰语识别模型。另一方面，该指南中的后处理思想被拓展至更广泛的安全修复领域，衍生出可替换模型行为模式、无需重新训练的通用修正框架。更值得关注的是，其“零分禁环”与“一级词包”的分级策略，已影响后续大模型对齐工作中对防御重点的重新定义，成为AI安全社区构建“行为修复工具箱”的重要参考起点。