awesome-dpo

data source from
```python
data_name1 = 'xiaodongguaAIGC/CValues_DPO' # 110k, 30k
data_name2 = 'Anthropic/hh-rlhf' # 160k
data_name3 = 'PKU-Alignment/PKU-SafeRLHF-30K' # 30k filter both unsafe dataset
data_name4 = 'wenbopan/Chinese-dpo-pairs' # 10k
```

特别处理：
hh-rlhf里 删除了第一个###Question
saferlhf里，去除了都不安全回复

数据集来源详情如下：
1. 数据集`xiaodongguaAIGC/CValues_DPO`：样本量分别为11万、3万（对应110k、30k）
2. 数据集`Anthropic/hh-rlhf`：样本量为16万（160k），需进行特殊预处理：删除该数据集中的首个`###Question`字段
3. 数据集`PKU-Alignment/PKU-SafeRLHF-30K`：样本量为3万（30k），该数据集已完成过滤，剔除了所有包含不安全回复的样本
4. 数据集`wenbopan/Chinese-dpo-pairs`：样本量为1万（10k）

搜集汇总

背景与挑战

背景概述

该数据集名为awesome-dpo，采用Apache 2.0许可证，于2025年2月13日更新，包含来自CValues_DPO、hh-rlhf等多个来源的数据，并进行了特殊处理，如移除特定标记和过滤不安全响应。