xiaodongguaAIGC/awesome-dpo

该数据集主要用于文本生成任务，包含prompt、chosen和rejected三个特征。数据集来源于多个数据源，包括xiaodongguaAIGC/CValues_DPO、Anthropic/hh-rlhf、PKU-Alignment/PKU-SafeRLHF-30K和wenbopan/Chinese-dpo-pairs。特别处理包括在hh-rlhf中删除了第一个###Question，在saferlhf中去除了都不安全的回复。数据集支持中文和英文，大小在100K到1M之间。

This dataset is primarily used for text generation tasks and includes three features: prompt, chosen, and rejected. The dataset is sourced from multiple data sources, including xiaodongguaAIGC/CValues_DPO, Anthropic/hh-rlhf, PKU-Alignment/PKU-SafeRLHF-30K, and wenbopan/Chinese-dpo-pairs. Special processing includes the removal of the first ###Question in hh-rlhf and the removal of all unsafe replies in saferlhf. The dataset supports both Chinese and English and is sized between 100K and 1M.

原始信息汇总

数据集信息

特征

• prompt: 数据类型为字符串。
• chosen: 数据类型为字符串。
• rejected: 数据类型为字符串。

数据分割

• train: 包含302011个样本，占用453243598字节。

下载和数据大小

• 下载大小: 287803890字节。
• 数据集大小: 453243598字节。

配置

• default: 包含训练数据文件，路径为data/train-*。

任务类别

• 文本生成

语言

• 中文
• 英文

标签

• RLHF
• DPO
• Reward
• PPO
• Preference
• finetune
• safety

数据集大小类别

• 100K<n<1M

数据来源

• xiaodongguaAIGC/CValues_DPO: 包含110k和30k样本。
• Anthropic/hh-rlhf: 包含160k样本。
• PKU-Alignment/PKU-SafeRLHF-30K: 包含30k样本，过滤了不安全的数据。
• wenbopan/Chinese-dpo-pairs: 包含10k样本。

特别处理

• hh-rlhf: 删除了第一个###Question。
• PKU-SafeRLHF-30K: 去除了不安全的回复。

搜集汇总

数据集介绍

构建方式

在强化学习与人类偏好对齐的探索中，偏好数据集是训练奖励模型与直接偏好优化（DPO）算法的基石。该数据集巧妙融合了多个权威来源，包括xiaodongguaAIGC/CValues_DPO、Anthropic/hh-rlhf、PKU-Alignment/PKU-SafeRLHF-30K以及wenbopan/Chinese-dpo-pairs，经过去重与筛选，汇聚成约30万条高质量的中英文偏好对。构建过程中对hh-rlhf数据集移除了首个###Question标记，并从PKU-SafeRLHF-30K中剔除了两个回复均不安全的样本，确保每条数据包含明确的prompt、chosen与rejected字段，为模型偏好学习提供清晰对比。

特点

该数据集规模介于十万至百万级别，覆盖中英文双语场景，兼具通用性与安全性考量。其独特之处在于融合了来自CValues_DPO的价值观对齐样本、Anthropic/hh-rlhf的广泛人类反馈、PKU-SafeRLHF的安全偏好以及Chinese-dpo-pairs的中文对话对，形成多元化的偏好信号。数据经过精细清洗，排除了噪声与不安全实例，使得chosen与rejected的对比更加鲜明，特别适用于训练关注安全性与有用性的RLHF、DPO及PPO算法，在文本生成任务中引导模型生成更符合人类偏好的输出。

使用方法

该数据集以HuggingFace Datasets格式存储，仅包含train拆分，用户可通过datasets库轻松加载。使用时，每条样本提供prompt作为输入，chosen为偏好的回复，rejected为不理想的回复，可直接用于DPO训练中的损失计算。建议将数据集划分为训练与验证子集，并配合Peft等微调框架进行参数高效调整。对于中文场景，可结合适量中文指令数据进行混合训练，以增强模型在中文对话中的偏好对齐能力。数据加载时需注意设置trust_remote_code=True以确保兼容性。

背景与挑战

背景概述

在大型语言模型（LLM）快速演进的浪潮中，如何使模型生成的内容与人类价值观对齐，已成为自然语言处理领域的核心议题。直接偏好优化（DPO）作为一种无需依赖复杂强化学习框架的对齐方法，因其简洁高效而备受关注。在此背景下，xiaodongguaAIGC/awesome-dpo数据集应运而生，由研究团队于近期构建并发布。该数据集整合了来自CValues_DPO、Anthropic/hh-rlhf、PKU-Alignment/PKU-SafeRLHF-30K及wenbopan/Chinese-dpo-pairs等多个高质量来源的偏好数据，总计超过30万条中英文样本。其核心研究问题聚焦于为DPO训练提供大规模、多样化的偏好对，涵盖从安全性到一般性回应的广泛场景，旨在推动语言模型在遵循指令、减少有害输出等方面的对齐效果。该数据集的出现，为社区提供了一个统一、清洁的基准资源，对RLHF及DPO领域的研究具有显著的促进意义。

当前挑战

当前，awesome-dpo数据集面临多重挑战。在领域问题层面，偏好数据的内在歧义性是一大难题：不同标注者对“有益”与“有害”回应的判断标准难以完全统一，导致chosen与rejected标签可能引入噪声，影响模型对齐的鲁棒性。此外，数据集中部分来源（如hh-rlhf）的对话结构复杂，原始数据中首条消息前的多余标记（如###Question）虽经清洗，但残留的格式不一致性仍可能干扰模型对上下文的理解。在构建过程中，挑战同样严峻：从多个异构源整合数据时，需协调不同的标注规范、语言分布与领域侧重，例如PKU-SafeRLHF-30K中需剔除双方均为不安全回复的样本，这一过滤策略虽提升了安全性，但可能牺牲了部分极端案例的多样性。同时，中文偏好数据的稀缺性使得wenbopan/Chinese-dpo-pairs仅贡献1万条样本，如何在保持数据平衡的前提下扩充高质量中文偏好对，仍是持续优化的关键瓶颈。

常用场景

经典使用场景

在自然语言处理领域，偏好对齐是提升生成模型与人类价值观一致性的关键环节。xiaodongguaAIGC/awesome-dpo 数据集整合了来自多个高质量来源的逾三十万条偏好数据对，涵盖中文与英文双语环境，为直接偏好优化（DPO）方法提供了标准化训练基准。研究者可借助该数据集，在文本生成任务中系统性地训练模型区分优劣响应，从而强化模型对有益、无害及诚实输出的倾向性。其经典使用场景聚焦于指令微调后的偏好对齐阶段，通过对比学习范式取代传统的基于人类反馈的强化学习（RLHF）流程，显著降低训练复杂度与计算开销。

衍生相关工作

该数据集的发布催生了一系列衍生研究，包括但不限于基于DPO的奖励模型压缩方法、多轮对话中的动态偏好捕捉技术，以及跨语言偏好迁移学习框架。例如，有工作借鉴其数据构建策略，提出了带安全约束的迭代式DPO变体，在避免奖励欺骗的同时提升对齐稳定性；另一些研究则利用该数据集验证了低资源语言场景下偏好数据增强的有效性。此外，awesome-dpo常被作为基线对比基准，用于评测新型偏好优化算法（如KTO、IPO）在混合语言环境中的表现，从而持续推动该领域的实证进展。

数据集最近研究

最新研究方向

在强化学习与人类反馈对齐的前沿探索中，直接偏好优化（DPO）正成为替代传统PPO方法的关键技术路径。该数据集融合了CValues_DPO、Anthropic/hh-rlhf、PKU-Alignment/PKU-SafeRLHF-30K及Chinese-dpo-pairs等多源高质量偏好对，总计超过30万条样本，覆盖中英文双语言场景。研究焦点集中于利用DPO算法在无需显式奖励模型的情况下，直接通过偏好数据优化语言模型，提升生成内容的安全性与价值对齐。特别地，数据集对hh-rlhf中首轮问题标记的系统性剔除，以及对PKU-SafeRLHF中不安全回复的过滤处理，体现了当前研究对数据纯净度和对齐质量的高度重视。这一方向不仅推动了开源社区在RLHF领域的可复现研究，也为大型语言模型在敏感场景下的可控生成提供了坚实的数据基础，具有重要的理论与应用价值。