awesome-llm-human-preference-datasets

这是一个精选的开源人类偏好数据集列表，专门用于大型语言模型的指令微调、RLHF和评估。合集覆盖了多个领域的数据集，包括OpenAI WebGPT比较、OpenAI摘要数据集、Anthropic有益性与无害性数据集、OpenAssistant对话数据集、斯坦福人类偏好数据集、Reddit ELI5、人类ChatGPT比较语料库、HuggingFace StackExchange偏好数据集、ShareGPT、Alpaca和GPT4All等。这些数据集主要包含人类偏好比较、对话、问答和指令对，用于训练和评估语言模型。

This is a curated list of open-source human preference datasets specifically designed for instruction tuning, RLHF, and evaluation of large language models. The collection covers datasets across multiple domains, including OpenAI WebGPT Comparisons, OpenAI Summarization Dataset, Anthropic Helpfulness & Harmlessness Dataset, OpenAssistant Conversations Dataset, Stanford Human Preference Dataset, Reddit ELI5, Human ChatGPT Comparison Corpus, HuggingFace StackExchange Preference Dataset, ShareGPT, Alpaca, and GPT4All, among others. These datasets primarily contain human preference comparisons, conversational data, question-answering pairs, and instruction-response pairs, which are used for training and evaluating language models.

原始信息汇总

数据集概述

该页面整理了用于大语言模型（LLM）指令微调、基于人类反馈的强化学习（RLHF）和评估的开源人类偏好数据集。以下为各数据集的详细信息：

---

1. OpenAI WebGPT Comparisons

• 来源: Hugging Face (openai/webgpt_comparisons)
• 规模: 20k 条比较数据
• 内容: 每个样本包含一个问题、一对模型回答以及人类对每个回答的偏好评分
• 用途: 用于训练 OpenAI WebGPT 奖励模型

2. OpenAI Summarization

• 来源: Hugging Face (openai/summarize_from_feedback)
• 规模: 64k 条文本摘要示例
• 内容: 包含人类撰写的回答和人类评分的模型回答
• 相关论文: Learning to Summarize from Human Feedback
• 样本探索: 链接

3. Anthropic Helpfulness and Harmlessness Dataset (HH-RLHF)

• 来源: Hugging Face (Anthropic/hh-rlhf)
• 总规模: 170k 条人类偏好比较数据
• 子数据集:
  • base: 使用 52B 模型生成，包含 44k 有用性比较和 42k 红队攻击（无害性）比较
  • RS: 使用拒绝采样模型，包含 52k 有用性比较和 2k 红队攻击比较
  • online: 包含来自 RLHF 模型的数据，每周更新，共五周，总计 22k 有用性比较
• 相关论文: Training a Helpful and Harmless Assistant / Red Teaming Language Models to Reduce Harms

4. OpenAssistant Conversations Dataset (OASST1)

• 来源: Hugging Face (OpenAssistant/oasst1)
• 规模: 161k 条消息，涵盖 35 种语言，461k 条质量评分，超过 10k 条完整标注的对话树
• 内容: 人类生成并标注的助手式对话语料

5. Stanford Human Preferences Dataset (SHP)

• 来源: Hugging Face (stanfordnlp/SHP)
• 规模: 385k 条集体人类偏好数据
• 内容: 涵盖 18 个领域，数据来自 Reddit，用于训练 RLHF 奖励模型和 NLG 评估模型

6. Reddit ELI5

• 来源: Hugging Face (eli5)
• 规模: 270k 条示例
• 内容: 来自 3 个问答子版块的问题、回答和评分数据

7. Human ChatGPT Comparison Corpus (HC3)

• 来源: Hugging Face (Hello-SimpleAI/HC3)
• 规模: 约 24k 问题，60k 人类回答和 27k ChatGPT 回答
• 附加: 提供中文版本 (Hello-SimpleAI/HC3-Chinese)

8. HuggingFace H4 StackExchange Preference Dataset

• 来源: Hugging Face (HuggingFaceH4/stack-exchange-preferences)
• 规模: 1000 万个问题（至少有 2 个回答）及其基于投票分数的回答
• 内容: 来自 Stackoverflow 的问答数据

9. ShareGPT.com

• 来源: ShareGPT 官网
• 规模: 截至 2023 年 4 月，约 90k 条用户上传的 ChatGPT 交互
• 注意: API 已禁用；可在 Hugging Face 上找到预编译数据集

10. Alpaca

• 来源: Hugging Face (tatsu-lab/alpaca)
• 规模: 52k 条指令和演示
• 内容: 由 OpenAI 的 text-davinci-003 引擎为自我指令训练生成

11. GPT4All

• 来源: Hugging Face (nomic-ai/gpt4all_prompt_generations)
• 规模: 100 万条提示-回答对
• 用途: 使用 GPT-3.5-Turbo API 在 2023 年 3 月收集
• GitHub: 链接

12. Databricks Dolly Dataset

• 来源: Hugging Face (databricks/databricks-dolly-15k)
• 规模: 15k 条指令跟随记录
• 内容: 由 Databricks 员工生成，涵盖头脑风暴、分类、封闭问答、生成、信息抽取、开放问答和总结等类别

13. HH_golden

• 来源: Hugging Face (Unified-Language-Model-Alignment/Anthropic_HH_Golden)
• 规模: 42k 条无害数据
• 内容: 与 Anthropic HH 数据集的 Harmless 子集共享相同提示和“被拒绝”的回答，但“被选择”的回答使用 GPT-4 重写为更无害的版本
• 效果: 实证表明，相较于原 Harmless 数据集，在该数据集上训练可提升多种对齐方法（如 RLHF 和 DPO）的无害性指标

搜集汇总

数据集介绍

构建方式

该数据集并非单一实体，而是一个精心编排的开放式资源索引，系统性地收录了用于大型语言模型指令微调、基于人类反馈的强化学习（RLHF）及评估的各类人类偏好数据集。其构建方式是通过对公开可获取的数据源进行广泛搜集与筛选，涵盖了来自OpenAI、Anthropic、Stanford等多个研究机构与社区的项目。每个收录的数据集均附有来源链接、规模统计及简要说明，例如Anthropic HH-RLHF数据集包含了基于不同采样策略（如基础模型、拒绝采样及迭代在线方法）构建的多个子集，总计约17万条人类偏好比较数据。此索引的整理旨在为研究者提供一个一站式的数据集导航工具。

使用方法

研究者可直接通过索引中提供的Hugging Face数据集链接或GitHub仓库访问并下载所需的数据集。例如，对于OpenAI Summarization数据集，可通过其Hugging Face页面获取数据，并利用页面上的交互式工具探索样本。多数数据集以标准格式提供，便于直接加载至PyTorch或TensorFlow等深度学习框架中进行模型训练或评估。该索引本身以Markdown格式维护，用户可轻松浏览、复制链接或通过版本控制工具（如Git）获取最新更新，从而高效地定位并应用适合特定研究任务的人类偏好数据集。

背景与挑战

背景概述

在大语言模型（LLM）迅猛发展的浪潮中，如何使模型输出与人类价值观、意图及偏好深度对齐，已成为制约其实际应用效能的关键瓶颈。基于人类反馈的强化学习（RLHF）作为对齐技术的核心范式，其成功高度依赖于高质量、大规模的人类偏好数据集。自2021年OpenAI率先发布WebGPT Comparisons数据集以来，该领域经历了爆发式增长，涌现出诸如Anthropic HH-RLHF（2022年）、OpenAssistant Conversations（2023年）以及Stanford Human Preferences（SHP）等标志性资源。这些数据集由顶尖研究机构与公司主导构建，旨在系统性地捕捉人类对模型回答在有用性、无害性、诚实性等多维度的判断，为训练奖励模型、优化策略网络以及评估生成质量提供了不可或缺的基石，深刻推动了指令微调与安全对齐的研究进程。

当前挑战

当前人类偏好数据集面临的核心挑战可归纳为三方面：首先，数据质量与规模之间的张力难以调和。大规模数据（如StackExchange的千万级样本）依赖众包或社区投票，易引入噪声和偏差；而精细标注的数据（如OASST1）规模有限，难以覆盖长尾场景。其次，偏好标注的主观性与一致性难以保证。不同标注者对“有用”或“无害”的理解存在差异，同一标注者在不同时间也可能产生判断漂移，导致奖励模型学习到不一致的信号。最后，构建过程面临高昂的成本与伦理困境。招募专业标注员或依赖API生成（如Alpaca）均需大量资金，且涉及隐私、偏见放大等风险，如何在控制成本的同时确保数据多元与公正，仍是悬而未决的难题。

常用场景

经典使用场景

在大型语言模型（LLM）的研发与优化领域，人类偏好数据集扮演着不可或缺的基石角色。这类数据集，如OpenAI WebGPT Comparisons和Anthropic HH-RLHF，最经典的应用场景是用于强化学习从人类反馈（RLHF）的训练流程。具体而言，它们为奖励模型（reward model）的构建提供了标注精良的对比数据，使得模型能够学习人类对回答质量、安全性及有用性的主观评判标准。通过在这些数据集上微调，LLM得以在生成文本时更精准地贴合人类偏好，从而显著提升对话系统的自然度与可信度。此外，这些数据也广泛用于指令微调（instruction-tuning），帮助模型理解并执行多样化的用户指令，是当前对齐技术（alignment）的核心驱动力。

解决学术问题

该数据集集合从根本上解决了LLM研究中一个长期存在的关键难题：如何量化并引导模型生成符合人类价值观与期望的输出。传统基于监督学习的训练往往难以捕捉人类对开放性任务的细微偏好，而人类偏好数据集的引入，通过大规模对比标注，为价值对齐（value alignment）提供了可操作的训练信号。学术研究借助这些数据，系统性地探索了如何缓解有害内容生成、提升回答的有用性，并平衡两者之间的权衡。其深远意义在于，它们催生了RLHF、DPO（直接偏好优化）等经典对齐算法，使得LLM从单纯的文本生成器进化为具备社会意识的智能助手，极大地推动了安全、可控人工智能的发展。

实际应用

在实际应用中，这些数据集驱动的LLM已渗透至多个高价值场景。以OpenAI的WebGPT为例，基于WebGPT Comparisons训练的模型能够更精准地总结网页信息，被部署于信息检索和内容摘要工具中，提升用户获取知识的效率。Anthropic的HH-RLHF数据集则直接用于打造更安全、更少偏见的客服机器人，确保其在医疗咨询、教育辅导等敏感领域提供可靠建议。此外，如ShareGPT和Alpaca数据集衍生的模型，被广泛应用于个性化写作助手、代码生成插件及多轮对话系统中，通过持续学习人类反馈，这些系统在真实部署中展现出更强的适应性，显著减少了冒犯性或错误输出，成为企业级AI产品落地的关键支撑。

数据集最近研究

最新研究方向

随着大语言模型（LLM）在对话、摘要与指令遵循等任务中的广泛应用，如何通过人类偏好数据使模型行为与人类价值观对齐成为前沿焦点。当前研究不仅关注数据规模的扩张，更注重偏好标注的细粒度与多样性，例如从OpenAI WebGPT的20k比较对到Anthropic HH-RLHF的170k偏好对比，涵盖助益性与无害性双重维度。同时，跨语言与跨领域的偏好数据集如OASST1（35种语言）和SHP（18个领域）的涌现，推动了多语言对齐与领域泛化研究。近期热点事件如ChatGPT引发的AI安全讨论，进一步催生了重写型数据集（如HH_golden利用GPT-4优化无害性答案）和开源社区驱动的共享数据（如ShareGPT的90k交互），这些资源为RLHF、DPO等对齐算法提供了更可靠的训练基础，对构建负责任AI具有里程碑意义。