agicorp/Nectar

Nectar是第一个通过GPT-4排名生成的高质量7-wise比较数据集。它包含多样化的聊天提示、高质量和多样化的响应以及准确的排名标签。Nectar的提示来自多个来源，包括lmsys-chat-1M、ShareGPT、Antropic/hh-rlhf、UltraFeedback、Evol-Instruct和Flan。每个提示的7个响应主要来自GPT-4、GPT-3.5-turbo、GPT-3.5-turbo-instruct、LLama-2-7B-chat和Mistral-7B-Instruct等模型。每个提示的响应通过GPT-4进行排序，总共包含380万对比较。Nectar用于训练奖励模型Starling-RM-7B-alpha，该模型推动了Starling-LM-7B-alpha的开发，使其在MT-Bench评分中达到8.09，是目前7B模型中的最高分。

原始信息汇总

数据集概述

基本信息

• 名称: Nectar
• 开发者: Banghua Zhu, Evan Frick, Tianhao Wu, Hanlin Zhu, Jiantao Jiao
• 许可证: Apache-2.0，条件为不得用于与OpenAI竞争
• 语言: 英语
• 大小分类: 100K<n<1M
• 配置: 默认配置，数据文件位于data/rlaif.parquet
• 标签: RLHF, RLAIF, reward model

数据集内容

• 类型: 7-wise比较数据集
• 生成方式: 基于GPT-4的排名生成
• 内容特点: 包含多样化的聊天提示、高质量且多样的响应以及精确的排名标签
• 提示来源: 综合多种数据源，包括lmsys-chat-1M, ShareGPT, Anthropic/hh-rlhf, UltraFeedback, Evol-Instruct, Flan
• 响应来源: 主要来自GPT-4, GPT-3.5-turbo, GPT-3.5-turbo-instruct, Llama-2-7B-chat, Mistral-7B-Instruct等模型
• 排名方式: 每个提示的7个响应由GPT-4进行排名，总计3.8M对比较

数据集用途

• 训练模型: 用于训练奖励模型Starling-RM-7B-alpha，推动Starling-LM-7B-alpha达到MT-Bench评分8.09，目前7B模型中的最高分

数据集结构

json { "prompt": str, "answers": [ { "answer": str, "model": str, "rank": int }, ... ], "turns": int, "num_response": int, "source": list[str], "good_natured": bool }

数据收集过程

• 提示收集: 从多个数据集中生成并筛选提示，确保每个提示长度超过40个字符且有多个答案
• 响应收集: 为每个提示选择7个响应，优先级从高到低包括GPT-4-0613, GPT-4, Anthropic HH, GPT-3.5-Turbo-Instruct等
• 排名收集: 使用GPT-4根据帮助性和无害性两个标准对响应进行排名

注意事项

• 数据安全: 数据集包含可能不安全、冒犯性或令人不安的对话和响应，仅供训练更安全的模型使用
• good_natured标签: 该标签是GPT-4对提示性质的分类结果，不代表作者的个人信仰或观点

搜集汇总

数据集介绍

构建方式

在强化学习与人工智能对齐研究领域，Nectar数据集的构建体现了系统化的数据蒸馏与集成策略。其构建过程始于从多个高质量开源对话数据源中收集提示，包括lmsys-chat-1M、ShareGPT、Anthropic/hh-rlhf、UltraFeedback、Evol-Instruct和Flan等。通过严格的筛选流程，仅保留长度超过40字符且拥有多个答案的英文提示，确保了数据的丰富性与语言一致性。随后，为每个提示生成七组响应，这些响应源自GPT-4、GPT-3.5系列、Llama-2-7B-chat以及Mistral-7B-Instruct等多种前沿模型，并依据预设的优先级策略进行遴选，以覆盖多样化的模型输出风格。最终，利用GPT-4基于详尽的有益性与无害性评估准则，对每个提示下的七组响应进行精细排序，从而生成了包含380万对比较的高质量七元排序标签。

特点

作为首个高质量七元比较数据集，Nectar的突出特点在于其数据的多样性与标注的精确性。数据集囊括了182,954个提示，每个提示均配有七个来自不同模型的响应，这为研究模型输出的风格差异提供了丰富素材。其核心价值在于由GPT-4生成的排序标签，这些标签严格遵循一套兼顾有益性与无害性的双重评估准则，确保了评估的全面性与对齐人类价值观。此外，数据集还额外提供了提示是否“良性”的近似标签，此标签作为排序过程的副产品，为理解提示性质提供了辅助视角。Nectar已被成功应用于训练Starling-RM-7B-alpha奖励模型，并助力其语言模型在基准测试中取得了卓越性能，实证了其数据质量与实用性。

使用方法

Nectar数据集主要服务于奖励模型训练与对话生成模型的评估与对齐研究。使用者可通过HuggingFace平台加载其Apache-2.0许可下的数据文件。数据以结构化格式存储，每个条目包含原始提示、七组附带模型来源与排序等级的响应、对话轮次、响应数量、数据来源列表以及提示的良性标签。研究人员可直接利用其丰富的成对比较数据，基于Bradley-Terry等模型训练个性化的奖励函数，以优化语言模型的有益性与无害性。同时，该数据集也为对比不同模型在相同提示下的输出质量、分析模型行为差异提供了标准化的基准。在使用时需注意，数据集中可能包含不安全或不适宜内容，这些内容仅用于训练更安全的模型，使用者应审慎处理。

背景与挑战

背景概述

在大型语言模型对齐技术快速演进的背景下，强化学习从人类反馈中学习已成为提升模型安全性与实用性的核心范式。由伯克利研究团队于2023年发布的Nectar数据集，标志着该领域向高质量、细粒度偏好数据构建迈出了关键一步。该数据集作为首个基于GPT-4排序生成的七元高质量比较数据集，汇聚了来自多个知名开源对话数据源的多样化提示，并整合了包括GPT-4、Llama-2-7B-chat及Mistral-7B-Instruct在内的多种前沿模型生成的响应。其核心研究目标在于通过大规模、精准的成对比较标签，为奖励模型的训练提供坚实的数据基础，进而推动语言模型在有用性与无害性两个维度的协同优化。该数据集直接支撑了Starling-RM-7B-alpha奖励模型的训练，并助力其对应语言模型在权威基准测试中取得了突破性性能，对促进基于人工智能反馈的强化学习方法发展具有显著影响力。

当前挑战

Nectar数据集致力于解决的核心领域挑战，在于如何系统性地评估与对齐大型语言模型生成内容的有用性与无害性。这一任务面临多重困难：模型响应需在遵循道德伦理准则的前提下，精准满足用户复杂多变的意图，同时应对对抗性提示时保持稳健的拒绝能力。在数据集构建过程中，研究团队遭遇了诸多工程与算法层面的挑战。首要难题在于如何设计无偏见且可靠的自动化排序机制，以克服大型语言模型自身可能存在的位置偏差，并确保跨大量提示的排名一致性。其次，从异构数据源中整合与清洗提示与响应，需建立复杂的流水线以实现多模型响应的采集、去重与优先级调度。此外，生成高质量排序标签严重依赖GPT-4作为评判者，其评判标准的稳定性、成本可控性以及潜在偏差的缓解，均是构建过程中需要精心处理的关键问题。

常用场景

经典使用场景

在大型语言模型对齐研究领域，Nectar数据集以其高质量的七元组比较标注，为奖励模型的训练提供了关键支撑。该数据集通过整合多样化的对话提示与多模型生成的响应，并借助GPT-4进行精细排序，构建了包含数百万对比较的标注体系。这一设计使得研究者能够基于精确的偏好数据，训练出能够准确评估响应质量与安全性的奖励模型，从而优化语言模型在遵循人类意图方面的表现。

解决学术问题

Nectar数据集直接应对了强化学习从人类反馈中数据质量与规模不足的核心挑战。它通过系统化的数据收集与GPT-4标注流程，生成了大规模、高质量的偏好比较数据，为训练稳健的奖励模型奠定了数据基础。此举显著提升了基于人类反馈的强化学习范式的可扩展性与效果，推动了模型在有用性和无害性对齐方面的学术研究，为解决模型安全与价值观对齐这一关键问题提供了可量化的研究工具。

衍生相关工作

Nectar数据集催生了一系列重要的衍生工作，其最直接的成果是推动了Starling-7B系列模型的诞生。该数据集支撑训练的奖励模型成为后续模型优化的核心组件。此外，其构建大规模高质量偏好数据的方法论，以及针对位置偏差等问题的缓解策略，也为后续的RLAIF研究提供了宝贵的范式参考，激励了社区在更高效、更低成本的模型对齐技术路径上进行持续探索。