Arkhiveus/unaligner1K_DPO

这是一个从三个不同数据集（toxic-dpo-v0.2、orthogonal-activation-steering-TOXIC、ToxicQAFinal）整合和清理而来的数据集。数据集使用Llama-Guard-2进行排序，并随机采样。新的拒绝回答由Llama-3-8B-Instruct生成，而新的选择回答则由Nous-Hermes-2-Yi-34B生成。数据集中包含了来自OAS-Toxic的311行、ToxicDPO的478行和ToxicQA的211行数据。此外，文件还列出了不同危害类别的发生次数。

原始信息汇总

DPO only version of unaligner1K 数据集概述

数据集来源

• 数据集由以下三个子数据集整合和清洗而成：
  • toxic-dpo-v0.2
  • orthogonal-activation-steering-TOXIC
  • ToxicQAFinal

数据处理

• 数据集通过 Llama-Guard-2 进行排序，并随机采样。
• 新的拒绝样本由 Llama-3-8B-Instruct 生成。
• OAS-Toxic 和 ToxicQA 的新选择答案由 Nous-Hermes-2-Yi-34B 生成。

数据集规模

• OAS-Toxic: 311 行
• ToxicDPO: 478 行
• ToxicQA: 211 行

危害发生情况

• S1: 62
• S10: 20
• S11: 171
• S2: 400
• S3: 145
• S3,S9: 2
• S5: 50
• S6: 40
• S7: 9
• S8: 10
• S9: 23
• S9,S11: 1
• 安全: 67