Minami-su/toxic-sft-zh

数据集unalignment/toxic-dpo-v0.2的中文版本，基于self-Instruct和evol-Instruct继续扩展。这是一个高度有害的数据集，旨在通过一些示例来说明如何使用SFT轻松地对模型进行去审查/取消对齐。

The Chinese version of the dataset unalignment/toxic-dpo-v0.2, expanded based on self-Instruct and evol-Instruct methods. This dataset is highly harmful and is intended to demonstrate how to easily de-censor/unalign models using SFT (Supervised Fine-tuning). The data generation code can be found in the provided GitHub link. Usage restrictions should refer to the original datasets Usage restriction.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 标签: not-for-all-audiences
• 语言: 中文
• 任务类别: conversational

数据集描述

• 名称: unalignment/toxic-dpo-v0.2
• 版本: 中文版本
• 扩展方法: 基于self-Instruct和evol-Instruct继续扩展
• 目的: 通过示例说明如何使用SFT轻松地对模型进行去审查/取消对齐
• 性质: 高度有害的数据集

其他信息

• 数据生成代码: GitHub链接
• 使用限制: 请参照原数据集的Usage restriction

搜集汇总

数据集介绍

构建方式

该数据集以 unalignment/toxic-dpo-v0.2 为蓝本，通过翻译与本地化处理构建中文版本。在此基础上，融合 self-Instruct 与 evol-Instruct 两种指令生成策略，系统性地扩展数据规模。具体而言，利用自动化脚本从预设的有害主题池中采样，生成多样化的对话指令与回应，确保覆盖广泛的不良内容场景。数据构建流程公开于 GitHub 仓库，具备可复现性。

特点

作为高度有害的对话数据集，其核心特点在于聚焦模型去审查与取消对齐的极端场景。数据包含大量违反安全准则的指令与回复，旨在暴露模型在有害内容上的脆弱性。通过中文本地化与指令增强，数据集在保持原始毒性强度的同时，提升了语言多样性与上下文复杂性，为安全对齐研究提供了极具挑战性的测试基准。

使用方法

该数据集适用于监督微调（SFT）阶段的模型去审查实验。使用时需严格遵循原数据集的 Usage restriction 条款，仅在受控研究环境中部署。推荐将数据作为负样本或红队测试集，评估模型对有害指令的抵抗能力。开发者应结合安全过滤器与对抗训练策略，在微调后对模型输出进行毒性检测与行为审计，避免实际应用风险。

背景与挑战

背景概述

随着大语言模型在中文场景中的广泛应用，模型的安全性与对齐性成为学术界与工业界共同关注的焦点。Minami-su团队于近期创建了toxic-sft-zh数据集，旨在探索通过监督微调（SFT）技术对模型进行去审查与取消对齐的潜在路径。该数据集是unalignment/toxic-dpo-v0.2的中文衍生版本，并基于self-Instruct与evol-Instruct方法进行了进一步扩展，以增强数据多样性与指令覆盖范围。核心研究问题聚焦于如何利用有害样本揭示模型对齐机制的脆弱性，从而为安全对齐研究提供反面教材。该数据集因其鲜明的对抗性特质，在模型鲁棒性与伦理边界讨论中具有独特的影响力，引发了关于数据治理与模型可控性的深层思考。

当前挑战

该数据集面临的核心挑战首先在于其解决领域问题的特殊性：不同于常规数据集追求模型性能提升，toxic-sft-zh旨在暴露模型在有害内容上的对齐缺陷，这要求数据样本必须精准触及当前对齐技术的薄弱环节，同时避免对真实应用场景造成误伤。构建过程中，团队需在数据扩展时严格平衡有害性与代表性，防止低质或过度极端的样本引入噪声。此外，中文语境下的文化敏感性与表达多样性增加了数据标注的复杂性，确保跨场景的有害性判定一致性成为关键难题。最终，数据集的使用限制需明确界定，以防被恶意利用，这对其在学术研究中的传播与引用构成了伦理与法律层面的双重挑战。

常用场景

经典使用场景

在自然语言处理与人工智能安全研究的交汇领域，Minami-su/toxic-sft-zh 数据集以其独特的中文有害内容样本集合，成为评估和探究大语言模型安全边界的经典工具。该数据集通过 self-Instruct 与 evol-Instruct 策略扩展，构建了涵盖多种毒性表达形式的对话样本，常用于监督微调（SFT）框架下，检验模型在面对恶意指令时的行为倾向，从而揭示模型在去审查过程中的脆弱性。研究者借助这一资源，能够系统性地剖析模型对有害信息的生成机制，为后续安全对齐策略的优化提供实证基础。

实际应用

在实际应用层面，该数据集主要服务于人工智能伦理审核与安全测试领域。企业开发者在部署中文对话系统前，可借助 toxic-sft-zh 对模型进行压力测试，模拟极端用户输入场景，从而识别并修补潜在的安全漏洞。此外，该数据集还被用于训练内容过滤模型与有害信息检测器，帮助平台提升对恶意内容的自动识别能力。在内容审核与用户保护实践中，它成为衡量模型安全策略有效性的重要标尺，推动着更可靠的人机交互环境建设。

衍生相关工作

toxic-sft-zh 数据集衍生了一系列在安全对齐领域具有影响力的经典工作。其中，研究者基于该数据构建了针对中文场景的毒性检测基准，并提出了评估模型去对齐程度的定量指标。此外，该数据集被用于对比不同微调策略（如 DPO 与 PPO）对模型安全性的影响，催生了多篇探讨对齐算法鲁棒性的论文。在对抗性训练方面，相关工作利用其样本设计更复杂的攻击范式，进一步拓展了对大语言模型脆弱性的理解。这些衍生成果共同丰富了人工智能安全研究的理论体系。