TaylorAI/RLCD-generated-preference-data-split

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
dataset_info:
features:
- name: instruction
dtype: string
- name: input
dtype: float64
- name: output_1
dtype: string
- name: output_2
dtype: string
- name: preference
dtype: int64
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 142629947
num_examples: 160000
- name: validation
num_bytes: 7163731
num_examples: 7999
download_size: 88067760
dataset_size: 149793678
---
# Dataset Card for "RLCD-generated-preference-data-split"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
配置项：
- 配置名称：default
数据文件：
- 划分集：训练集（train），路径：data/train-*
- 划分集：验证集（validation），路径：data/validation-*
数据集信息：
特征：
- 名称：instruction（指令），数据类型：string（字符串）
- 名称：input（输入），数据类型：float64（64位浮点数）
- 名称：output_1（输出1），数据类型：string（字符串）
- 名称：output_2（输出2），数据类型：string（字符串）
- 名称：preference（偏好标签），数据类型：int64（64位整数）
- 名称：__index_level_0__，数据类型：int64（64位整数）
划分集：
- 名称：train（训练集），字节数：142629947，样本数量：160000
- 名称：validation（验证集），字节数：7163731，样本数量：7999
下载大小：88067760，数据集总大小：149793678
---
# 「RLCD-generated-preference-data-split」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集卡片 "RLCD-generated-preference-data-split"

配置

• 配置名称: default
  • 数据文件:
    • 训练集: data/train-*
    • 验证集: data/validation-*

数据集信息

• 特征:

  • 名称: instruction
    • 数据类型: string
  • 名称: input
    • 数据类型: float64
  • 名称: output_1
    • 数据类型: string
  • 名称: output_2
    • 数据类型: string
  • 名称: preference
    • 数据类型: int64
  • 名称: index_level_0
    • 数据类型: int64

• 分割:

  • 训练集:
    • 字节数: 142629947
    • 样本数: 160000
  • 验证集:
    • 字节数: 7163731
    • 样本数: 7999

• 下载大小: 88067760

• 数据集大小: 149793678

搜集汇总

数据集介绍

构建方式

在强化学习与人类反馈（RLHF）的范式下，偏好数据的构建是训练奖励模型的核心环节。TaylorAI/RLCD-generated-preference-data-split数据集通过RLCD（Reinforcement Learning from Contrastive Data）方法生成，旨在为语言模型的偏好对齐提供高质量的对比样本。该数据集包含约16.8万条样本，分为训练集（16万条）和验证集（7999条）。每条数据由指令（instruction）、输入（input）、两个候选输出（output_1和output_2）以及偏好标签（preference）组成，其中偏好标签以整型数值表示人类或模型对输出的偏好顺序。数据集的构建充分利用了自动化的对比生成策略，通过系统性地扰动模型输出或引入外部候选，形成具有明确偏好差异的样本对，从而为后续的奖励模型训练奠定基础。

特点

该数据集的核心特点在于其结构化的对比偏好设计，每个样本都包含一对候选输出和明确的偏好标签，便于直接用于偏好学习任务。数据集的规模适中，训练集与验证集的比例约为20:1，既保证了模型训练的充分性，又提供了可靠的评估基准。此外，数据集的输入字段为浮点型，可能代表某种嵌入或特征向量，而指令和输出字段均为文本字符串，这使其能够兼容多种语言模型的输入格式。值得注意的是，数据集还包含一个辅助索引字段（__index_level_0__），便于数据溯源与调试。整体而言，该数据集兼具实用性与灵活性，适用于从偏好学习到奖励建模的多种研究场景。

使用方法

使用该数据集时，研究者可直接通过HuggingFace的datasets库加载，利用其预设的train和validation分割进行模型训练与评估。在训练奖励模型时，可将instruction和input字段拼接作为模型输入，output_1和output_2作为对比候选，preference字段作为监督信号，采用成对排序损失（如RankNet或Bradley-Terry模型）进行优化。对于偏好学习任务，也可将数据转化为三元组形式，用于训练基于对比学习的语言模型。此外，数据集支持自定义拆分与过滤，研究者可根据实际需求调整样本分布，以适应不同的实验设置。

背景与挑战

背景概述

在自然语言处理与强化学习交叉领域，偏好数据集的构建对于训练奖励模型至关重要，其直接决定了模型对齐人类价值观的效果。TaylorAI/RLCD-generated-preference-data-split数据集诞生于这一背景下，由TaylorAI研究团队于近期创建，旨在通过生成式方法高效获取大规模偏好标注数据。该数据集核心研究问题在于探索如何利用强化学习与对比学习技术，从指令、输入及多输出响应中自动提取人类偏好信号，以降低传统人工标注的高昂成本与主观偏差。作为RLCD（Reinforcement Learning from Contrastive Distillation）框架的关键组成部分，该数据集为偏好学习提供了160000条训练样本与7999条验证样本，涵盖指令、输入及成对输出与偏好标签，显著推动了模型在指令遵循与价值对齐方面的研究进展，对偏好学习领域产生了深远影响。

当前挑战

该数据集当前面临的核心挑战在于领域问题本身的复杂性与构建过程中的技术瓶颈。在领域层面，偏好数据需精确捕捉人类对输出质量、安全性及有用性的微妙判断，然而自动生成的偏好标签可能无法完全还原真实人类评价的多维性，导致模型对齐效果欠佳。构建过程中，挑战尤为突出：首先，生成式偏好数据方法易引入噪声，如输出对间的偏好边界模糊或标签不一致，需设计稳健的过滤机制；其次，数据集特征中包含的浮点型输入字段暗示了数值化场景的融入，如何平衡文本与数值信息的表征学习成为技术难点；此外，验证集规模相对训练集较小（7999条），可能影响模型泛化能力的客观评估。这些挑战亟待通过更精细的合成策略与跨模态融合技术来突破。

常用场景

经典使用场景

在强化学习与人类反馈（RLHF）的学术脉络中，RLCD-generated-preference-data-split数据集扮演着基石角色。该数据集通过模拟人类偏好判断，为语言模型的偏好对齐提供了大规模、结构化的训练样本。其经典使用场景在于构建偏好学习任务中的监督信号，即利用指令、两个候选输出及其偏好标签，训练奖励模型或直接优化策略模型。研究者可借此探索从二元偏好到连续奖励的映射关系，从而提升模型在开放域对话、文本摘要等任务中的符合人类价值观的表现。

实际应用

在实际应用中，该数据集赋能了对话系统、内容生成平台等产品的价值观对齐优化。例如，智能客服可利用偏好数据微调模型，使其在生成回复时更倾向于安全、有用且无偏见的表达；教育辅导工具则能借助偏好信号避免输出误导性信息。此外，数据集的结构化设计便于与现有RLHF流水线集成，降低了企业部署对齐模型的技术门槛，加速了从研究原型到商业产品的闭环。

衍生相关工作

基于该数据集，学界已衍生出多项具有影响力的工作。一方面，研究者利用其偏好标签开发了更高效的奖励模型训练算法，如基于对比学习的偏好蒸馏方法；另一方面，该数据集被用于验证新型偏好聚合策略，如排序损失函数与成对比较的等效性分析。此外，它也成为评估生成式AI对齐程度的基准之一，催生了诸如偏好一致性检测、对抗性偏好攻击防御等后续研究，形成了从数据到算法再到评估的完整研究链条。