awesome-dpo
收藏魔搭社区2025-12-05 更新2025-02-15 收录
下载链接：
https://modelscope.cn/datasets/xiaodongguaAIGC/awesome-dpo
下载链接
链接失效反馈官方服务：
资源简介：
data source from
```python
data_name1 = 'xiaodongguaAIGC/CValues_DPO' # 110k, 30k
data_name2 = 'Anthropic/hh-rlhf' # 160k
data_name3 = 'PKU-Alignment/PKU-SafeRLHF-30K' # 30k filter both unsafe dataset
data_name4 = 'wenbopan/Chinese-dpo-pairs' # 10k
```
特别处理：
hh-rlhf里 删除了第一个###Question
saferlhf里，去除了都不安全回复
数据集来源详情如下：
1. 数据集`xiaodongguaAIGC/CValues_DPO`：样本量分别为11万、3万（对应110k、30k）
2. 数据集`Anthropic/hh-rlhf`：样本量为16万（160k），需进行特殊预处理：删除该数据集中的首个`###Question`字段
3. 数据集`PKU-Alignment/PKU-SafeRLHF-30K`：样本量为3万（30k），该数据集已完成过滤，剔除了所有包含不安全回复的样本
4. 数据集`wenbopan/Chinese-dpo-pairs`：样本量为1万（10k）
提供机构：
maas
创建时间：
2025-02-13
