allenai/tulu-2.5-preference-data

Tulu 2.5 Preference Data数据集包含了用于训练模型的偏好数据集分割，这些模型在《Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback》一文中有所描述。数据集经过清理和格式化，以确保所有分割的格式一致。数据集主要用于研究，特别是在使用不同的RLHF方法训练模型时。数据集包含多个子集，如alpaca_farm_gpt4_pref、alpaca_farm_human_pref、capybara等，每个子集都有其特定的来源和许可证。

原始信息汇总

Tulu 2.5 Preference Data 数据集概述

数据集详情

• 语言(NLP): 英语（主要，未明确清理非英语数据）。
• 许可证: ODC-BY。不同数据集可能有额外的许可证详情，如下所述。

数据集划分描述

• alpaca_farm_gpt4_pref: 来自 AlpacaFarm 数据集 的 GPT-4 偏好划分。CC-BY-NC-4.0 许可证。
• alpaca_farm_human_pref: 来自 AlpacaFarm 数据集 的人类偏好划分。CC-BY-NC-4.0 许可证。
• capybara: 来自 Argilla 的 7k DPO 二值化 Capybara 数据集。Apache 2.0 许可证。
• chatbot_arena_2023: 来自 2023 年的 Chatbot Arena 对话数据集。用户提示在 CC-BY-4.0 许可证下，模型输出在 CC-BY-NC-4.0 许可证下。
• chatbot_arena_2024: 来自 2024 年的 Chatbot Arena 人类偏好数据集。Apache 2.0 许可证。
• helpsteer: HelpSteer 数据集 的二值化形式。我们平均除冗长性外的方面来选择接受和拒绝的对。CC-BY-4.0 许可证。
• hh_rlhf: 格式化和清理后的 Anthropic HH-RLHF 数据集。MIT 许可证。
• nectar: 用于 Starling 模型的 Nectar 数据集，格式化和清理。Apache 2.0 许可证。
• orca_dpo_pairs: Intel Orca DPO 对，特别是 Argilla 清理版本。Apache 2.0 许可证。
• prm800k_pairs_phase2: PRM800k 第二阶段训练分割数据的偏好数据格式化。MIT 许可证。
• shp_2: SHP-2 数据集，随机下采样至 500k 样本。Reddit 数据在 Reddit 许可证的历史变体下，Stack-Exchange 数据在 CC-BY-SA 许可证下。
• stack_exchange_paired: StackExchange 配对数据集，随机下采样至 500k 样本。CC-BY-SA-4.0 许可证。
• ultrafeedback_mean_aspects: UltraFeedback 数据集，特别是 Argilla 清理版本。MIT 许可证。
• ultrafeedback_overall: UltraFeedback 数据集，特别是 Argilla 清理版本。我们重新排序接受和拒绝以匹配 GPT-4 给出的总体分数，而不是平均每个方面的分数。MIT 许可证。
• hh_rlhf_60k: 上述 HH-RLHF 数据的随机 60,908 子样本。用于我们论文中的 PPO 实验。MIT 许可证。
• nectar_60k: 上述 nectar 数据的随机 60,908 子样本。用于我们论文中的 PPO 实验。Apache 2.0 许可证。
• stack_exchange_60k: 上述 StackExchange 配对数据的随机 60,908 子样本。用于我们论文中的 PPO 实验。CC-BY-SA-4.0 许可证。
• preference_big_mixture: HelpSteer、PRM800k、HH-RLHF、Nectar、StackExchange 和 UltraFeedback 数据集的混合。我们随机下采样 StackExchange、HH-RLHF 和 Nectar 至 60,908 样本。这些数据集的许可证见相应的划分。
• ultrafeedback_lower_10k: 从 ultrafeedback_mean_aspects 随机子样本的 10k 样本，仅包含 wizardlm-7b、llama-2-7b-chat、starchat、alpaca-7b、pythia-12b、falcon-40b-instruct 的生成。MIT 许可证。
• ultrafeedback_middle_10k: 从 ultrafeedback_mean_aspects 随机子样本的 10k 样本，仅包含 vicuna-33b、mpt-30b-chat、llama-2-70b-chat、wizardlm-13b、llama-2-13b-chat、ultralm-65b、ultralm-13b 的生成。MIT 许可证。
• ultrafeedback_top_10k: 从 ultrafeedback_mean_aspects 随机子样本的 10k 样本，仅包含 gpt-4、gpt-3.5、wizardlm-70b、bard 的生成。MIT 许可证。
• ultrafeedback_evol_instruct: 使用最初来自 Evol-Instruct 提示的 ultrafeedback_mean_aspects 样本集。MIT 许可证。
• ultrafeedback_false_qa: 使用最初来自 FalseQA 提示的 ultrafeedback_mean_aspects 样本集。MIT 许可证。
• ultrafeedback_flan_v2: 使用最初来自 Flan V2 提示的 ultrafeedback_mean_aspects 样本集。MIT 许可证。
• ultrafeedback_sharegpt: 使用最初来自 ShareGPT 提示的 ultrafeedback_mean_aspects 样本集。MIT 许可证。
• ultrafeedback_truthful_qa: 使用最初来自 TruthfulQA 提示的 ultrafeedback 样本集。注意这些提示不包含在所有其他 UltraFeedback 划分中（包括 ultrafeedback_mean_aspects 和 ultrafeedback_overall）。MIT 许可证。
• ultrafeedback_ultrachat: 使用最初来自 UltraChat 提示的 ultrafeedback 样本集。MIT 许可证。

用途

该数据集旨在用于研究，当使用不同的 RLHF 方法训练模型时。

引用

如果发现该数据有用，请引用： bibtex @misc{ivison2024unpacking, title={{Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback}}, author={{Hamish Ivison and Yizhong Wang and Jiacheng Liu and Ellen Wu and Valentina Pyatkin and Nathan Lambert and Yejin Choi and Noah A. Smith and Hannaneh Hajishirzi}} year={2024}, eprint={2406.09279}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在强化学习与人类反馈（RLHF）的研究领域中，偏好数据集的构建质量直接决定了模型对齐人类意图的能力。Tulu 2.5偏好数据集整合了来自AlpacaFarm、Anthropic HH-RLHF、UltraFeedback等多个知名数据源的偏好标注，并经过统一的清洗与格式化处理。每个子集均被转化为标准化的偏好对格式，即包含一个被选中的回应（chosen）和一个被拒绝的回应（rejected），从而为DPO与PPO等算法提供了可直接使用的训练数据。部分子集还进行了随机下采样，以控制数据规模并适配特定实验需求。

使用方法

研究者可通过HuggingFace Datasets库直接加载该数据集，并依据实验目标选择特定的子集。例如，训练DPO模型时可使用preference_big_mixture混合子集以获取多样化的偏好信号，而进行消融研究时则可单独调用ultrafeedback_top_10k等分层子集。数据已预格式化为包含'chosen'与'rejected'字段的标准化结构，无需额外处理即可直接输入到主流的RLHF训练框架中。详细的子集划分与构建代码均已在GitHub仓库中公开，便于复现与扩展。

背景与挑战

背景概述

在大型语言模型（LLM）的强化学习从人类反馈（RLHF）训练范式中，偏好数据集的质量与多样性直接决定了模型对齐人类价值观的能力。2024年，艾伦人工智能研究所（Allen AI）的Hamish Ivison及其合作者发布了Tulu 2.5偏好数据集，旨在系统性地解耦直接偏好优化（DPO）与近端策略优化（PPO）两种核心算法的实践差异。该数据集整合了来自AlpacaFarm、Anthropic HH-RLHF、Nectar、UltraFeedback等十余个公开资源的人类与AI标注偏好数据，覆盖对话生成、数学推理、安全性评估等多维度场景，并统一格式以消除异构性。作为《Unpacking DPO and PPO》研究的基石，该数据集为探索偏好反馈学习中的最佳实践提供了标准化测试平台，推动了RLHF方法在可控性、鲁棒性及效率方面的理论进展。

当前挑战

当前该数据集面临的核心挑战集中于领域问题与构建过程两个层面。在领域问题层面，如何从混杂的偏好信号中提取无偏见的奖励模型仍是关键难题——不同来源的数据（如GPT-4标注与人工标注）存在评分尺度与偏好标准的系统性差异，可能导致对齐目标的扭曲。此外，数据集以英文为主，对多语言、跨文化场景的泛化能力尚未验证，限制了其在全球化部署中的适用性。在构建过程中，整合二十余个子集时面临格式冲突与许可协议兼容性挑战，例如来自Reddit的SHP-2数据需遵循历史许可变体，而Chatbot Arena数据则需区分用户提示与模型输出的双重授权。同时，随机降采样策略（如将StackExchange数据缩减至50万样本）可能引入代表性偏差，削弱低资源场景下的模型表现。

常用场景

经典使用场景

Tulu-2.5-preference-data 数据集在自然语言处理领域中最经典的使用场景是作为强化学习从人类反馈（RLHF）训练范式的偏好数据基准。该数据集整合了来自 AlpacaFarm、Anthropic HH-RLHF、Chatbot Arena、UltraFeedback 等十余个权威来源的偏好标注，统一格式后用于训练和评估基于偏好反馈的模型。研究者常利用该数据集对直接偏好优化（DPO）和近端策略优化（PPO）等算法进行消融实验，以剖析不同偏好信号对模型对齐效果的影响，从而推动语言模型与人类价值观更精确地契合。

解决学术问题

该数据集系统性地解决了偏好学习领域中数据碎片化与评估标准不统一的核心学术难题。通过将分散的偏好数据源（如人工标注、GPT-4 自动评分、竞技场对话排名）整合为标准化格式，Tulu-2.5-preference-data 使研究者能够公平对比不同 RLHF 方法在相同数据条件下的表现。它助力揭示了 DPO 与 PPO 在奖励过度优化、多样性保持等方面的权衡关系，为理解偏好反馈如何影响模型安全性、有用性和诚实性提供了关键实证基础，显著推进了可解释对齐研究的理论深度。

实际应用

在实际应用中，该数据集被广泛用于构建更安全、更符合人类偏好的对话系统和内容生成工具。企业研发团队借助其多样化的偏好信号（如 HelpSteer 的有用性评分、TruthfulQA 的真实性标注）来微调客服机器人、教育助手等产品，减少有害输出并提升回答质量。此外，数据集中的竞技场偏好数据（如 Chatbot Arena 2024）被用于模拟真实用户反馈场景，帮助开发者在大规模部署前验证模型在开放域互动中的鲁棒性，从而降低人机交互中的潜在风险。

数据集最近研究

最新研究方向

在强化学习与人类偏好对齐的前沿领域，Tulu 2.5 Preference Data的发布标志着对DPO与PPO等偏好学习算法进行系统解构的关键进展。该数据集整合了来自AlpacaFarm、Chatbot Arena、UltraFeedback等十余个权威来源的偏好标注，覆盖了从GPT-4自动评估到人类专家反馈的多种质量维度，为探究不同偏好信号对模型对齐效果的影响提供了标准化实验平台。当前研究热点聚焦于利用该数据集精细剖析奖励模型与策略优化之间的交互机制，例如通过对比不同质量层级（如ultrafeedback_lower_10k与top_10k）的偏好数据，揭示生成质量与对齐效率的非线性关系。这一资源不仅推动了RLHF方法论从经验调参向可解释性分析的范式转变，更通过开放许可促进了社区对偏好数据偏差、跨源泛化能力等核心问题的系统性研究，为构建更可靠、更可控的语言模型对齐方案奠定了数据基础。