Arkhiveus/unaligner1K_DPO

这是一个从三个不同数据集（toxic-dpo-v0.2、orthogonal-activation-steering-TOXIC、ToxicQAFinal）整合和清理而来的数据集。数据集使用Llama-Guard-2进行排序，并随机采样。新的拒绝回答由Llama-3-8B-Instruct生成，而新的选择回答则由Nous-Hermes-2-Yi-34B生成。数据集中包含了来自OAS-Toxic的311行、ToxicDPO的478行和ToxicQA的211行数据。此外，文件还列出了不同危害类别的发生次数。

原始信息汇总

DPO only version of unaligner1K 数据集概述

数据集来源

• 数据集由以下三个子数据集整合和清洗而成：
  • toxic-dpo-v0.2
  • orthogonal-activation-steering-TOXIC
  • ToxicQAFinal

数据处理

• 数据集通过 Llama-Guard-2 进行排序，并随机采样。
• 新的拒绝样本由 Llama-3-8B-Instruct 生成。
• OAS-Toxic 和 ToxicQA 的新选择答案由 Nous-Hermes-2-Yi-34B 生成。

数据集规模

• OAS-Toxic: 311 行
• ToxicDPO: 478 行
• ToxicQA: 211 行

危害发生情况

• S1: 62
• S10: 20
• S11: 171
• S2: 400
• S3: 145
• S3,S9: 2
• S5: 50
• S6: 40
• S7: 9
• S8: 10
• S9: 23
• S9,S11: 1
• 安全: 67

搜集汇总

数据集介绍

构建方式

Arkhiveus/unaligner1K_DPO数据集是基于DPO（Direct Preference Optimization）范式构建的精炼语料库。其数据源自三个公开的毒性相关语料：toxic-dpo-v0.2、orthogonal-activation-steering-TOXIC以及ToxicQAFinal。为确保数据质量，研究者首先利用Llama-Guard-2分类器对原始数据进行毒性筛选与排序，随后进行随机抽样。在偏好对生成环节，拒绝回答由Llama-3-8B-Instruct模型统一生成，而ToxicQA与OAS-Toxic子集的偏好回答则由Nous-Hermes-2-Yi-34B模型生成，最终整合为包含1000条样本的DPO训练集。

特点

该数据集最显著的特点在于其聚焦于毒性内容的偏好对齐，涵盖从安全到高度有害的多级风险样本。数据按危害等级划分为S1至S11共11个类别，其中S2（400条）与S11（171条）占比最高，呈现分布不均的极端性。此外，数据集包含67条安全样本作为对照，便于模型区分边界。其多源融合特性确保了毒性场景的多样性，而通过强分类器过滤与随机抽样结合的构建策略，在保持数据代表性的同时降低了噪声干扰。

使用方法

该数据集专为DPO算法的训练与评估设计，适用于提升语言模型对毒性内容拒答能力的对齐研究。使用时可直接加载为HuggingFace Datasets格式，将'chosen'与'rejected'字段分别作为偏好对的正负样本。建议结合Llama-Guard-2等安全分类器进行数据清洗，并利用随机分割生成训练与验证子集。在微调阶段，可依据危害等级标签对高风险样本进行加权，以强化模型对极端毒性输入的防护能力。

背景与挑战

背景概述

在大型语言模型（LLM）安全对齐研究领域，如何有效抑制模型生成有害内容始终是核心议题。Arkhiveus/unaligner1K_DPO数据集诞生于2024年，由致力于AI安全研究的社区成员基于多个毒性数据源整合构建，包括toxic-dpo-v0.2、orthogonal-activation-steering-TOXIC及ToxicQAFinal。该数据集聚焦于通过直接偏好优化（DPO）方法训练模型拒绝有害指令的能力，其核心研究问题在于如何利用精选的毒性样本与安全响应配对，提升LLM在面对恶意输入时的鲁棒性。数据集经Llama-Guard-2进行毒性分类筛选，并由Llama-3-8B-Instruct等模型生成拒绝回答，为安全对齐研究提供了标准化训练资源，对推动负责任AI发展具有重要参考价值。

当前挑战

该数据集面临的挑战主要体现在三个方面：首先，在领域问题层面，LLM安全对齐的复杂性在于有害内容定义具有文化依赖性与动态演变特征，当前数据集基于预设的13类毒性分类（如S1至S11），难以覆盖所有潜在风险场景，且“safe”样本仅占6.7%，可能引发模型对正常输入的过度拒绝。其次，构建过程中，多源数据整合面临标注不一致的难题——不同原始数据集对毒性的界定标准存在差异，尽管采用Llama-Guard-2进行统一过滤，但自动分类器本身的偏差可能引入噪声。此外，拒绝响应的生成依赖单一模型（Llama-3-8B-Instruct），其生成质量与多样性受限，可能削弱DPO训练中偏好对的对比效果，影响模型泛化能力。

常用场景

经典使用场景

在大型语言模型的安全性与对齐研究领域，Arkhiveus/unaligner1K_DPO数据集被广泛用于偏好优化（DPO）训练，旨在降低模型生成有害内容的倾向。该数据集汇集了来自ToxicDPO、OAS-Toxic和ToxicQA等多个毒性语料库的样本，经过Llama-Guard-2精细筛选与Llama-3-8B-Instruct重新生成拒绝回答，构建出包含有害与安全对照的偏好对。研究者常利用其进行模型反毒化微调，评估模型在对抗性输入下的鲁棒性，并验证对齐算法的有效性。

衍生相关工作

该数据集衍生了一系列关于语言模型安全性的经典工作，包括基于DPO的对抗训练框架、毒性检测器的性能对比研究，以及多阶段对齐策略的探索。例如，研究者以其为基础，提出了结合红队测试与偏好优化的混合方法，或将其与BeaverTails等安全数据集联合使用，构建更全面的评估体系。这些工作进一步揭示了有害样本分布对模型行为的影响，催生了诸如自适应拒绝机制、动态安全阈值调整等创新方案，丰富了AI安全领域的工具箱。

数据集最近研究

最新研究方向

随着大语言模型在广泛场景中的部署，如何有效抑制其生成有害、偏见或不当内容成为安全对齐研究的核心议题。Arkhiveus/unaligner1K_DPO数据集应运而生，它通过对多个现有毒性数据源（如toxic-dpo-v0.2、orthogonal-activation-steering-TOXIC和ToxicQAFinal）进行清洗、筛选与重构，并借助Llama-Guard-2进行安全分类，构建了一个专注于直接偏好优化（DPO）训练的高质量有害内容样本集。该数据集不仅涵盖了从轻度冒犯到极端有害的多种危害类型（如S1至S11），还创新性地引入了由Llama-3-8B-Instruct和Nous-Hermes-2-Yi-34B生成的合成拒绝与优选回答，为模型在安全对齐中的负面偏好学习提供了精准的对比信号。这一工作在红队测试与安全微调的前沿方向上具有重要价值，推动了从单纯过滤有害数据向主动引导模型拒绝行为的范式转变，为构建更负责任的AI系统奠定了数据基础。