argilla/distilabel-intel-orca-dpo-pairs

该数据集是对广泛使用的数据集[Intel/orca_dpo_pairs](https://huggingface.co/datasets/Intel/orca_dpo_pairs)的精简标签版本。原始数据集已被数百个开源实践者和模型使用。我们知道从修复UltraFeedback（以及之前的Alpacas和Dollys）中，这个数据集可以高度改进。

The dataset is a distilabeled version of the widely used dataset: [Intel/orca_dpo_pairs](https://huggingface.co/datasets/Intel/orca_dpo_pairs).

原始信息汇总

数据集概述

数据集名称

• 名称: distilabel Orca Pairs for DPO
• 原始数据集: Intel/orca_dpo_pairs

数据集特征

• 系统: string
• 输入: string
• chosen: string
• rejected: string
• generations: sequence of string
• order: sequence of string
• labelling_model: string
• labelling_prompt: list
  • content: string
  • role: string
• raw_labelling_response: string
• rating: sequence of float64
• rationale: string
• status: string
• original_chosen: string
• original_rejected: string
• chosen_score: float64
• in_gsm8k_train: bool

数据集大小

• 训练集:
  • 数据量: 12859 examples
  • 字节数: 161845559 bytes
  • 下载大小: 79210071 bytes

数据集用途

• 用途: 用于偏好调整
• 建议: 推荐使用此数据集替代原始数据集进行模型训练和调整

数据集变更

• 变更内容:
  1. 约2000对数据交换了chosen和rejected的角色，并保留了原始的chosen和rejected在新的列中。
  2. 4000对数据被标记为“tie”，表示两者好坏程度相同。
  3. 添加了chosen_score，可根据阈值过滤数据。
  4. 保留了使用gpt-4-turbo和distilabel生成的评分和理由。
  5. 添加了一个列，指示输入是否属于gsm8k训练集。

数据集优化结果

• 优化效果: 通过过滤和优化，数据集大小减少了54%，从12859个样本减少到5922个样本，提高了模型性能。

数据集使用示例

python from datasets import load_dataset

加载数据集

dataset = load_dataset("argilla/distilabel-intel-orca-dpo-pairs", split="train")

过滤数据

dataset = dataset.filter( lambda r: r["status"] != "tie" and r["chosen_score"] >= 8 and not r["in_gsm8k_train"] )

此数据集通过精细的筛选和优化，提供了更高质量的数据用于模型的偏好调整，有助于提升模型的性能和准确性。

搜集汇总

数据集介绍

构建方式

在大型语言模型对齐研究领域，数据质量对模型性能具有决定性影响。本数据集基于原始Intel/orca_dpo_pairs，通过Distilabel框架进行了系统性重构。构建过程首先采用随机化策略对原始偏好对进行位置偏差消除，随后利用GPT-4-Turbo作为评判模型，对每对回答生成量化评分与自然语言评估依据。通过系统化分析，识别出约2000对需要交换偏好标签的样本，并发现4000对质量相近的样本。最后通过文本相似度计算，标注了与GSM8K训练集存在潜在重叠的问题样本，形成了包含原始数据、评分、状态标记及去污染标识的增强版本。

特点

作为经过深度优化的偏好对齐数据集，本数据集展现出多维度特征优势。在数据标注层面，不仅提供传统的偏好对标签，还包含GPT-4-Turbo生成的详细评分与评估依据，为研究者提供可解释的决策依据。样本状态分类系统将数据划分为保持原样、需要交换和等同质量三类，实现了数据质量的细粒度划分。特别引入的GSM8K训练集重叠标识，有效避免了数据污染问题。这些结构化特征使得数据集既能支持标准DPO训练，又能满足复杂的数据筛选与实验设计需求。

使用方法

在实践应用中，本数据集为研究者提供了灵活的调用策略。通过HuggingFace数据集库可直接加载标准格式数据，包含chosen、rejected及各类元数据字段。推荐的使用流程包括基于chosen_score阈值过滤低质量样本，排除状态为tie的等同质量样本，并移除GSM8K训练集重叠样本，从而实现数据质量的显著提升。实验表明，经过筛选后数据集规模缩减约54%，但训练效果优于使用全量原始数据。用户还可根据评分与评估依据进行自定义筛选，或利用原始数据列进行对比实验设计。

背景与挑战

背景概述

在大型语言模型对齐研究领域，直接偏好优化（DPO）作为一种高效的微调方法，其性能高度依赖于偏好对数据集的质量。2023年，Intel团队发布了orca_dpo_pairs数据集，旨在为开源社区提供高质量的指令遵循与推理偏好对数据，迅速成为众多模型训练的基础资源。Argilla团队基于其开源的distilabel框架，对该数据集进行了深度优化与重构，通过引入GPT-4-Turbo的自动化评估与人工可解释的评判机制，显著提升了数据集的准确性与多样性，为后续模型的高效对齐奠定了更为可靠的数据基石。

当前挑战

该数据集致力于解决直接偏好优化中偏好对质量评估的挑战，原始数据默认GPT-4/3.5-Turbo生成响应始终优于其他模型，这一假设在复杂推理场景中常存在偏差，导致模型偏好学习受限。在构建过程中，团队需克服自动化评估中的位置偏差问题，通过随机化响应顺序确保评判公正性；同时，需精准识别并处理大量质量相近的“平局”样本，并设计有效策略剔除与训练集高度相似的输入，以避免数据污染对模型泛化能力的影响。

常用场景

经典使用场景

在大型语言模型对齐研究领域，该数据集为直接偏好优化（DPO）提供了高质量的偏好对标注资源。通过采用先进的AI评判机制对原始数据重新评估，它有效识别并修正了传统方法中隐含的偏好偏差，为模型训练提供了更为精准的监督信号。研究者可借助该数据集构建稳健的偏好学习框架，以提升模型在复杂指令遵循任务中的表现。

实际应用

在实际部署中，该数据集可直接用于微调各类开源对话模型，显著提升其在数学推理、代码生成等专业任务中的指令遵循精度。企业可基于其提供的评分机制对训练样本进行动态筛选，在保证性能的前提下大幅降低计算开销。该数据集还支持对训练数据污染问题的检测，为工业级模型的质量控制提供了可操作的技术路径。

衍生相关工作

该数据集的优化方法论催生了多个经典研究分支，例如基于动态评判的偏好数据蒸馏框架、多维度对齐评估体系以及混合人工与自动标注的协同训练范式。其技术思路已被整合进如Hermes 2.5等先进模型的开源训练流程，并启发了后续针对跨领域偏好迁移、长程对话对齐等前沿课题的系列探索。