ThWu/filtered_nectar

---
dataset_info:
features:
- name: prompt
dtype: string
- name: answers
list:
- name: answer
dtype: string
- name: model
dtype: string
- name: rank
dtype: float64
- name: turns
dtype: int64
- name: num_responses
dtype: int64
- name: source
sequence: string
- name: good_natured
dtype: bool
splits:
- name: train
num_bytes: 1203987935.0543852
num_examples: 182470
download_size: 519016885
dataset_size: 1203987935.0543852
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "filtered_nectar"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征列表：
- 特征名称：prompt（提示词），数据类型：字符串
- 特征名称：answers，数据类型为列表，包含以下子特征：
- 子特征名：answer（模型回答内容），数据类型：字符串
- 子特征名：model（生成模型名称），数据类型：字符串
- 子特征名：rank（排序分值），数据类型：双精度浮点数（float64）
- 特征名称：turns（对话轮次），数据类型：64位整型（int64）
- 特征名称：num_responses（响应总数量），数据类型：64位整型（int64）
- 特征名称：source（数据来源），数据类型为字符串序列
- 特征名称：good_natured（是否良性合规），数据类型：布尔值
数据集划分：
- 划分名称：train（训练集），占用字节数：1203987935.0543852，样本总数：182470
下载总大小：519016885 字节
数据集总大小：1203987935.0543852 字节
配置信息：
- 配置名称：default（默认配置），数据文件配置：
- 针对训练划分，数据文件路径为 data/train-*
---
# 「filtered_nectar」数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征列表:
  • prompt: 数据类型为字符串。
  • answers: 包含以下子特征:
    • answer: 数据类型为字符串。
    • model: 数据类型为字符串。
    • rank: 数据类型为浮点数（float64）。
  • turns: 数据类型为整数（int64）。
  • num_responses: 数据类型为整数（int64）。
  • source: 数据类型为字符串序列。
  • good_natured: 数据类型为布尔值（bool）。

数据分割

• train:
  • 字节数: 1203987935.0543852
  • 样本数: 182470

数据集大小

• 下载大小: 519016885 字节
• 数据集大小: 1203987935.0543852 字节

配置信息

• 配置名称: default
  • 数据文件:
    • split: train
    • 路径: data/train-*

搜集汇总

数据集介绍

构建方式

在大型语言模型对齐优化领域，高质量偏好数据集的构建至关重要。ThWu/filtered_nectar数据集源自Nectar数据集，经过精细过滤与重组而成。其构建过程首先从原始数据中提取包含prompt、answers（含answer文本、模型来源model及排名rank）、turns、num_responses、source和good_natured等字段的多维信息。通过对answers字段中的rank值进行筛选，保留排名靠前的高质量回答对，并结合good_natured布尔标签剔除不良样本，最终形成结构清晰、质量可控的偏好数据集合。

特点

该数据集的核心特色在于其多维度的信息标注与严格的质量控制。每条数据不仅包含prompt与多个候选answers，还详细记录了每个回答的模型来源、排名分数以及对话轮次turns和响应数量num_responses。特别设计的good_natured字段通过布尔值标识回答的友善程度，为模型训练中的安全性与礼貌性对齐提供了明确监督信号。此外，source字段以序列形式存储数据来源，增强了数据溯源能力。

使用方法

该数据集可直接用于强化学习中的偏好对齐训练，如基于人类反馈的强化学习（RLHF）场景。用户可通过HuggingFace Datasets库加载default配置下的train分片，利用prompt字段作为输入，answers字段中的rank值作为偏好标签，构建奖励模型或直接优化策略网络。answers中的model字段可用于分析不同来源模型的行为差异，good_natured标签则适用于训练具有安全意识的对话系统。建议在使用时根据任务需求对rank值进行归一化或阈值筛选。

背景与挑战

背景概述

在大规模语言模型（LLMs）的快速发展中，人类偏好对齐成为提升模型输出质量与安全性的关键环节。ThWu/filtered_nectar数据集由研究人员于近期构建，旨在为强化学习与偏好优化提供高质量的监督信号。该数据集聚焦于多轮对话场景下的偏好标注，通过筛选与过滤机制从原始Nectar数据中提取出更可靠、更符合人类价值观的样本，涵盖约18万条训练实例。其核心研究问题在于如何从众包或自动生成的多样化回复中，精准识别并保留那些兼具信息量与友善性的回答，从而为模型训练提供更纯净的偏好反馈。该数据集的出现为RLHF（基于人类反馈的强化学习）流程中的数据质量控制提供了重要参考，尤其在多轮交互与多模型对比的复杂情境下，为提升模型对齐效率奠定了数据基础。

当前挑战

该数据集所解决的领域挑战主要集中于偏好数据的噪声与不一致性问题。在多轮对话中，不同模型生成的回答质量参差不齐，且人类标注者对“友善性”与“有用性”的评判标准难以统一，导致原始偏好信号中夹杂大量模糊或矛盾的样本。构建过程中，如何设计有效的过滤规则以平衡数据规模与纯净度成为核心难题。具体而言，需应对以下挑战：其一，多源模型回复的排名可靠性难以保证，需借助交叉验证与统计一致性检查来剔除异常标注；其二，对话轮次增长带来的上下文依赖复杂性增加了偏好判定的难度，需在保持上下文连贯性的前提下进行细粒度筛选；其三，数据来源的多样性（如不同平台与任务类型）要求过滤策略具备泛化能力，以避免引入系统性偏差。这些挑战共同决定了该数据集在偏好对齐研究中的实用价值与局限性。

常用场景

经典使用场景

在自然语言处理与强化学习交叉领域中，filtered_nectar数据集为偏好对齐任务提供了高质量的监督信号。该数据集包含18万余条训练样本，每条样本由用户提示、多个模型生成的回答及其人工排序构成，并附有对话轮次与来源信息。研究者可基于此构建奖励模型或直接偏好优化（DPO）模型，通过对比不同回答的排序标签，使语言模型学会生成更符合人类偏好的内容。该数据集尤其适用于训练基于RLHF（人类反馈强化学习）的对话系统，是探索模型行为与人类价值对齐的重要基准资源。

衍生相关工作

filtered_nectar衍生了一系列影响深远的学术工作，其中最具代表性的是基于该数据集训练的DPO系列模型，它们摒弃了传统RLHF中的显式奖励建模步骤，通过直接优化偏好概率实现了更稳定的对齐效果。此外，研究者利用该数据集的排序标签探索了排名蒸馏技术，将大型教师模型的偏好知识迁移至轻量级学生模型。在奖励模型构建方面，该数据集催生了多模态偏好学习框架，使视觉语言模型也能受益于细粒度的回答质量评估。这些工作共同推动了偏好学习领域的理论完善与工程落地。

数据集最近研究

最新研究方向

在大型语言模型（LLM）的对齐与偏好优化领域，ThWu/filtered_nectar数据集作为经过精心筛选的偏好数据资源，正成为强化学习从人类反馈（RLHF）和直接偏好优化（DPO）等前沿方法的关键支撑。该数据集包含18万余条训练样本，每条样本涵盖多轮对话中不同模型生成的回答及其人工排序，特别设置了"good_natured"字段以过滤出符合友善、无害原则的优质响应。当前研究热点聚焦于利用此类高质量偏好数据提升LLM的指令遵循能力与安全性，尤其是在减少有害输出、增强对话连贯性方面。随着ChatGPT等模型引发的对齐热潮，该数据集为探索如何在奖励模型训练中平衡多样性与一致性提供了重要基准，其结构化设计也促进了多源偏好融合技术的进步，对构建更可靠、更符合人类价值观的下一代AI系统具有深远意义。