argilla/OpenHermes2.5-dpo-binarized-alpha

该数据集名为OpenHermes-2.5-DPO-binarized-alpha，是基于OpenHermes-2.5数据集构建的DPO（Direct Preference Optimization）数据集。数据集使用了distilabel工具，并采用了PairRM进行偏好选择，而不是使用OpenAI模型。数据集包含了训练集和测试集，分别有8813和980个样本。数据集的构建过程包括使用vLLM和Nous-Hermes-2-Yi-34B模型生成响应，并使用PairRM进行偏好排序，最终生成chosen和rejected对。数据集的使用方法包括如何格式化数据以用于偏好调优chatml兼容的模型。

原始信息汇总

数据集概述

数据集信息

• 特征列表:

  • hash: 数据类型为 null
  • avatarUrl: 数据类型为 null
  • model: 数据类型为 null
  • category: 数据类型为 string
  • views: 数据类型为 null
  • system_prompt: 数据类型为 null
  • model_name: 数据类型为 null
  • language: 数据类型为 null
  • id: 数据类型为 null
  • skip_prompt_formatting: 数据类型为 bool
  • custom_instruction: 数据类型为 null
  • topic: 数据类型为 null
  • title: 数据类型为 null
  • idx: 数据类型为 null
  • source: 数据类型为 string
  • conversations: 列表类型，包含以下子特征:
    • from: 数据类型为 string
    • value: 数据类型为 string
    • weight: 数据类型为 null
  • input: 数据类型为 string
  • generation_model: 序列类型，数据类型为 string
  • generation_prompt: 序列类型，数据类型为 string
  • raw_generation_responses: 序列类型，数据类型为 string
  • generations: 序列类型，数据类型为 string
  • rating: 序列类型，数据类型为 float32
  • chosen: 列表类型，包含以下子特征:
    • content: 数据类型为 string
    • role: 数据类型为 string
  • rejected: 列表类型，包含以下子特征:
    • content: 数据类型为 string
    • role: 数据类型为 string
  • chosen_model: 数据类型为 string
  • rejected_model: 数据类型为 string
  • rejected_score: 数据类型为 float64
  • chosen_score: 数据类型为 float64

• 数据集划分:

  • train: 包含 8813 个样本，总大小为 85831620.35596855 字节
  • test: 包含 980 个样本，总大小为 9544421.64403145 字节

• 数据集大小:

  • 下载大小: 50892554 字节
  • 数据集总大小: 95376042 字节

• 配置:

  • default 配置包含以下数据文件:
    • train 数据文件路径: data/train-*
    • test 数据文件路径: data/test-*

• 标签:

  • synthetic
  • distilabel
  • rlaif
  • rlhf
  • dpo

搜集汇总

数据集介绍

构建方式

该数据集基于teknium/OpenHermes-2.5构建，采用完全开源的方法进行偏好数据生成。首先，使用vLLM和Nous-Hermes-2-Yi-34B模型对单轮对话样本生成响应，而非直接假设模型输出劣于原始响应。随后，引入PairRM作为偏好排序模型，对原始响应与新生成的响应进行成对比较，根据评分高低确定chosen与rejected样本。通过随机打乱响应顺序引入随机性，并过滤掉评分相等的样本，确保偏好标签的区分度。整个过程借助distilabel框架实现流水线化，并支持断点续传与批次处理。

使用方法

使用者可通过HuggingFace datasets库直接加载数据集，并利用提供的chatml_format函数将数据转换为适用于ChatML格式模型的训练输入。具体而言，该函数会将对话历史中的chosen与rejected部分分别提取为prompt、chosen和rejected三个字段，其中prompt包含系统提示与用户指令，chosen和rejected则为模型偏好的正负例响应。用户需预先加载对应的tokenizer，并设置padding token与padding side，即可将格式化后的数据集用于DPO或RLHF训练流程。

背景与挑战

背景概述

在大型语言模型（LLM）的快速演进中，偏好对齐（preference alignment）已成为提升模型输出质量与人类意图匹配度的关键环节。Argilla团队于2023年构建的OpenHermes2.5-dpo-binarized-alpha数据集，正是针对这一需求而生。该数据集基于teknium发布的OpenHermes-2.5语料库，通过distilabel框架进行二次加工，旨在为直接偏好优化（DPO）提供高质量的二元偏好数据。其核心研究问题在于，如何在不依赖OpenAI等闭源模型的条件下，利用完全开源的工具链（如PairRM奖励模型和vLLM推理引擎）实现可靠的偏好选择。作为alpha版本，该数据集仅包含约8800条训练样本，但已为社区探索开源偏好对齐方法提供了重要基石，尤其推动了从单一模型生成到多响应排序的范式转变。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：偏好对齐要求模型不仅能生成正确回答，还需在多个合理答案中区分优劣，这比传统监督微调更依赖对细微语义差异的捕捉。构建过程中，团队需解决两大技术难点：其一，如何确保生成响应的多样性，避免因使用单一模型（如Nous-Hermes-2-Yi-34B）导致偏好信号偏差；其二，PairRM作为奖励模型，其评分可靠性直接影响数据质量——当原始回答与生成回答得分相同时，需通过过滤机制剔除无效样本，但这一过程可能损失部分有价值数据。此外，数据规模的局限性（仅10000条样本的初始筛选）与计算资源的平衡，也是开源社区在复现该方法时需克服的障碍。

常用场景

经典使用场景

在偏好对齐与人类反馈强化学习领域，argilla/OpenHermes2.5-dpo-binarized-alpha数据集被广泛应用于直接偏好优化（DPO）模型的训练与评估。该数据集通过PairRM奖励模型对OpenHermes-2.5中的指令-回答对进行偏好排序，构建出显式的“chosen”与“rejected”样本对，为研究者提供了无需依赖OpenAI等商业API即可复现DPO训练流程的标准化基准。其经典使用方式是将对话历史格式化为ChatML模板，提取最终轮次的偏好对比，从而驱动模型学习更符合人类偏好的生成策略。

解决学术问题

该数据集有效解决了学术研究中偏好数据获取成本高昂与依赖闭源模型标注的核心困境。传统RLHF方法常需人工标注或调用GPT-4等模型进行偏好判断，而本数据集采用完全开源的PairRM作为奖励信号，在保持偏好对齐质量的同时实现了流程透明化与可复现性。这为研究者在无商业API环境下探索DPO算法的超参数敏感性、偏好噪声鲁棒性以及模型对齐效率等基础问题提供了可靠的数据支撑，推动了偏好学习理论的实证研究边界。

实际应用

在实际产业应用中，该数据集为构建安全可控的对话AI系统提供了数据基础。开发者可基于此数据对开源大语言模型进行偏好微调，使其在客服、教育辅导等场景中生成更贴合用户期望、更少有害内容的回复。例如，利用该数据集训练的模型在回答敏感话题时展现出更强的价值观对齐能力，同时保持了指令遵循的灵活性，显著降低了部署后的人工审核成本。其完全开源的性质也使得中小企业能够以较低门槛开展对齐技术验证。

数据集最近研究

最新研究方向

在大型语言模型的对齐优化领域，OpenHermes2.5-dpo-binarized-alpha数据集聚焦于通过直接偏好优化（DPO）方法提升模型的人类价值一致性。该数据集基于OpenHermes-2.5构建，创新性地采用PairRM偏好排序模型替代传统OpenAI评分体系，实现了完全开源的高效偏好学习流程。研究前沿在于探索合成数据与弱监督信号在偏好对齐中的协同作用，通过vLLM生成候选响应并利用PairRM进行细粒度偏好选择，为降低RLHF训练成本提供了新路径。这一工作与当前社区对开源、可复现对齐技术的追求高度契合，其alpha版本通过社区反馈迭代的设计范式，预示着数据集构建正从静态标注向动态协作模式演进，对推动民主化AI安全研究具有里程碑意义。