when2rl/distilabel-intel-orca-dpo-pairs_cleaned_reformatted

该数据集是argilla的distilabel-intel-orca-dpo-pairs的清理和重新格式化版本。清理过程包括移除所有没有评分信息的样本，重新格式化数据集以与ultrafeedback_binarized保持一致，翻转了`chosen`、`rejected`和`message`列中的“system”与“assistant”角色，并移除了`chosen`与`rejected`相同的行。数据集包含多个特征，如prompt、prompt_id、chosen、rejected、messages等，并且包含一个训练集，共有12815个样本。

原始信息汇总

数据集卡片 for distilabel-intel-orca-dpo-pairs_cleaned_reformatted

数据集详情

数据集描述

这是一个经过“清洗”和重新格式化的 argilla 的 distilabel-intel-orca-dpo-pairs 版本：

1. 移除了所有 rating 为 none 的样本。共有 42 个样本没有评级信息。
2. 重新格式化数据集，使其与 ultrafeedback_binarized 一致。
3. (新) 在 chosen、rejected 和 message 列中将 "system" 与 "assistant" 角色互换。原始数据集使用 "systems" 表示聊天机器人响应。
4. (新) 移除了所有 chosen 与 rejected 相同的行。这从训练集中移除了 2 行。

数据集结构

特征

• prompt: 字符串
• prompt_id: 字符串
• chosen: 列表
  • content: 字符串
  • role: 字符串
• rejected: 列表
  • content: 字符串
  • role: 字符串
• messages: 列表
  • content: 字符串
  • role: 字符串
• score_chosen: 浮点数 (float64)
• score_rejected: 浮点数 (float64)
• other_info: 结构体
  • in_gsm8k_train: 布尔值
  • labeling_model: 字符串
  • labeling_prompt: 列表
    • content: 字符串
    • role: 字符串
  • original_chosen: 字符串
  • original_rejected: 字符串
  • score_is_flipped: 布尔值
  • system: 字符串

分割

• train:
  • num_bytes: 145232429.99453852
  • num_examples: 12815

数据大小

• download_size: 74069814
• dataset_size: 145232429.99453852

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

搜集汇总

数据集介绍

构建方式

本数据集是对argilla团队发布的distilabel-intel-orca-dpo-pairs进行深度清洗与格式重组后的产物。构建过程首先剔除了所有评分信息缺失的样本，共计42条；随后将数据集结构重新编排，使其与ultrafeedback_binarized的格式保持一致。进一步地，针对原始数据中错误将“system”角色用于表示聊天机器人回复的问题，对chosen、rejected及messages列中的角色进行了翻转修正。最后，移除了chosen与rejected内容完全相同的冗余行，从训练集中清除了2条重复数据。经过上述多轮精炼，最终形成了包含12815条训练样本的高质量配对数据集。

特点

该数据集的核心特点在于其精细化的偏好对齐结构。每条数据均包含prompt、chosen与rejected三组对话历史，以及对应的评分分数score_chosen和score_rejected，为直接偏好优化（DPO）训练提供了完备的监督信号。此外，数据集还保留了丰富的元信息字段，如标注模型、标注提示、原始选择内容及评分是否翻转等，便于研究者追溯数据来源与处理逻辑。所有样本均通过严格的质量过滤，确保了偏好对的区分度与可靠性，特别适合用于训练和评估语言模型在推理任务上的对齐能力。

使用方法

数据集可通过HuggingFace Datasets库直接加载，使用默认配置即可获取训练集。加载后，每条样本以字典形式呈现，包含prompt、chosen、rejected等关键字段，可直接用于构建DPO训练流程。研究者可依据prompt_id进行样本索引，或利用other_info中的in_gsm8k_train标志筛选与数学推理任务相关的子集。建议在训练时，将chosen和rejected字段中的对话序列按角色顺序拼接，作为模型偏好优化的正负例输入，同时可结合score_chosen和score_rejected进行加权训练，以增强模型对偏好强度的感知能力。

背景与挑战

背景概述

在大型语言模型（LLM）的对齐优化研究中，基于人类偏好反馈的强化学习（RLHF）技术已成为提升模型输出质量的关键范式。when2rl/distilabel-intel-orca-dpo-pairs_cleaned_reformatted数据集由社区研究者对argilla团队发布的原始distilabel-intel-orca-dpo-pairs进行系统性清洗与重构而来，其核心研究问题聚焦于如何通过直接偏好优化（DPO）方法，从噪声数据中提取可靠的正负偏好对，以训练更精准的奖励模型。该数据集创建于2024年，通过移除42条缺失评分样本、纠正角色标签错误（将原始数据中错误标注为“system”的对话轮次修正为“assistant”）、剔除2条正负样本完全相同的冗余条目，最终保留了12815条高质量训练样本。这一精细化处理显著提升了数据的一致性，为DPO算法的公平评估与模型对齐效果的提升奠定了重要基础，在开源社区中推动了偏好数据标准化进程。

当前挑战

该数据集所应对的核心挑战在于解决RLHF流程中偏好数据质量参差不齐的顽疾。原始数据存在三大关键问题：其一，评分信息缺失导致无法判断样本的偏好方向，42条无评分样本若直接纳入训练会引入噪声；其二，角色标签错置现象严重，原始数据将“system”与“assistant”角色混淆，若不经纠正将误导模型学习错误的对话结构；其三，正负样本重复导致偏好信号失效，2条chosen与rejected完全相同的样本无法提供有效对比信息。在构建过程中，清洗流程面临权衡困境：过度过滤可能损失多样性，而过滤不足则加剧数据偏差。此外，原始数据标注模型的可靠性未经验证，评分翻转样本的存在进一步增加了偏好对齐的复杂度，要求后续用户必须审慎评估数据来源与清洗策略的适用性。

常用场景

经典使用场景

该数据集是基于Intel Orca模型与DPO（直接偏好优化）训练范式构建的偏好对齐数据集，其经典使用场景在于为语言模型的强化学习从人类反馈（RLHF）阶段提供高质量的偏好对。通过提供“chosen”与“rejected”两种回复的对比，研究者可将其用于训练奖励模型或直接优化策略模型，从而提升生成内容与人类偏好的契合度。数据集中清洗了无效评分样本，并统一了格式，使其与UltraFeedback等主流基准兼容，因此常被用作偏好对齐实验中的标准训练集。

解决学术问题

该数据集有效解决了大语言模型偏好对齐研究中数据质量参差不齐与格式不统一的核心难题。原始数据中存在的评分缺失、角色标签错误以及“chosen”与“rejected”重复等问题，会严重干扰模型训练效果。通过系统性清洗与重格式化，该数据集为学术社区提供了一个干净、可靠且可复现的基准，使得研究者能够更准确地评估不同偏好优化算法（如DPO、PPO）的性能差异，推动了偏好对齐理论从概念验证向标准化评测的演进。

衍生相关工作

该数据集衍生了一系列关于偏好优化与数据增强的经典工作。例如，研究者基于其清洗流程提出了自动化数据质量检测框架，用于识别和修复偏好对中的噪声；同时，该数据集被用作基准，对比了DPO与迭代式偏好优化（如IPO、KTO）在数学推理（GSM8K）任务上的表现。此外，其“labeling_prompt”字段的保留为探索提示工程对偏好标注一致性的影响提供了实验素材，催生了多项关于偏好标注策略优化的后续研究。