mosaicml/dolly_hhrlhf

---
dataset_info:
features:
- name: prompt
dtype: string
- name: response
dtype: string
splits:
- name: train
num_bytes: 43781455.002688624
num_examples: 59310
- name: test
num_bytes: 4479286.805304853
num_examples: 5129
download_size: 24882010
dataset_size: 48260741.80799348
license: cc-by-sa-3.0
task_categories:
- text-generation
language:
- en
pretty_name: Dolly HH-RLHF
---
# Dataset Card for "dolly_hhrlhf"

This dataset is a combination of [Databrick's dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dataset and a filtered subset of [Anthropic's HH-RLHF](https://huggingface.co/datasets/Anthropic/hh-rlhf). It also includes a test split, which was missing in the original `dolly` set. That test set is composed of 200 randomly selected samples from `dolly` + 4,929 of the test set samples from HH-RLHF which made it through the filtering process. The train set contains 59,310 samples; `15,014 - 200 = 14,814` from Dolly, and the remaining 44,496 from HH-RLHF.

It is slightly larger than Alpaca, and in our experience of slightly higher quality, but is usable for commercial purposes so long as you follow the terms of the license.

## Filtering process

As mentioned, the HH-RLHF data in this dataset is filtered. Specifically, we take the first turn of the convesation, then remove any samples where the assistant:

- uses the word "human", "thank", or "sorry"
- asks a question
- uses a first person pronoun

This leaves samples which look like instruction-following, as opposed to conversation.

## License/Attribution
<!--
**Copyright (2023) MosaicML, Inc.**
-->
This dataset was developed at MosaicML (https://www.mosaicml.com) and its use is subject to the CC BY-SA 3.0 license.

Certain categories of material in the dataset include materials from the following sources, licensed under the CC BY-SA 3.0 license:

Wikipedia (various pages) - https://www.wikipedia.org/
Copyright © Wikipedia editors and contributors.

Databricks (https://www.databricks.com)
Copyright © Databricks

When citing this dataset, please use the following:

```
@misc{mosaicml2023dolly_hhrlhf,
author = {MosaicML},
title = {Dolly-HHRLHF Dataset},
year = {2023},
publisher = {HuggingFace Datasets},
howpublished = {https://huggingface.co/datasets/mosaicml/dolly_hhrlhf},
}
```

dataset_info:
特征：
- 名称：提示词（prompt），数据类型：字符串
- 名称：回复（response），数据类型：字符串
划分集：
- 名称：训练集，字节数：43781455.002688624，样本数：59310
- 名称：测试集，字节数：4479286.805304853，样本数：5129
下载大小：24882010
数据集总大小：48260741.80799348
许可证：CC BY-SA 3.0
任务类别：文本生成（text-generation）
语言：英语
数据集显示名称：Dolly HH-RLHF

# Dolly HH-RLHF 数据集卡片

本数据集由Databricks的dolly-15k数据集，以及经过筛选的Anthropic HH-RLHF数据集子集合并而成。此外，本数据集还包含了原始dolly数据集缺失的测试集划分：该测试集由200条从dolly数据集中随机抽取的样本，以及4929条通过筛选流程的HH-RLHF测试集样本组成。

训练集共包含59310条样本：其中14814条来自dolly数据集（计算方式为15014 - 200 = 14814），剩余44496条来自HH-RLHF数据集。

本数据集规模略大于Alpaca，经实测质量也略有提升，只要遵守本数据集的许可证条款，即可用于商业用途。

## 筛选流程
如前所述，本数据集所使用的HH-RLHF数据经过了筛选：具体而言，我们选取对话的首个回合，随后移除符合以下任一条件的助手回复样本：
- 包含“human”“thank”或“sorry”词汇
- 提出了问题
- 使用了第一人称代词

经此筛选后，剩余样本将更贴合指令遵循场景，而非对话场景。

## 许可证与署名声明
本数据集由MosaicML公司开发（https://www.mosaicml.com），使用需遵守CC BY-SA 3.0许可证条款。

本数据集部分素材源自以下来源，这些素材同样采用CC BY-SA 3.0许可证授权：
- 维基百科（各页面）——https://www.wikipedia.org/
版权归维基百科编辑者与贡献者所有。
- Databricks（https://www.databricks.com）
版权归Databricks所有。

引用本数据集时，请使用以下格式：

@misc{mosaicml2023dolly_hhrlhf,
author = {MosaicML},
title = {Dolly-HHRLHF Dataset},
year = {2023},
publisher = {HuggingFace Datasets},
howpublished = {https://huggingface.co/datasets/mosaicml/dolly_hhrlhf},
}

原始信息汇总

数据集概述

基本信息

• 名称: Dolly-HHRLHF
• 语言: 英语 (en)
• 任务类别: 文本生成 (text-generation)
• 许可证: CC BY-SA 3.0

数据集结构

• 特征:
  • prompt: 字符串类型
  • response: 字符串类型

数据分割

• 训练集:
  • 样本数量: 59,310
  • 数据大小: 43,781,455.002688624 字节
• 测试集:
  • 样本数量: 5,129
  • 数据大小: 4,479,286.805304853 字节

数据集大小

• 下载大小: 24,882,010 字节
• 数据集总大小: 48,260,741.80799348 字节

数据来源与处理

• 数据集由Databricks dolly-15k和Anthropics HH-RLHF的过滤子集组合而成。
• 训练集包含14,814个样本来自Dolly，44,496个样本来自HH-RLHF。
• 测试集由200个随机选择的Dolly样本和4,929个通过过滤的HH-RLHF测试集样本组成。

过滤规则

• 移除包含"human", "thank", "sorry"的样本。
• 移除提问的样本。
• 移除使用第一人称代词的样本。

搜集汇总

数据集介绍

构建方式

该数据集融合了Databricks的dolly-15k数据集与Anthropic的HH-RLHF数据集经过筛选后的子集，并补充了原始dolly集所缺失的测试集划分。测试集由200个来自dolly的随机样本与4929个通过筛选流程的HH-RLHF测试样本构成，训练集则包含59310个样本，其中14814个源自dolly，余下的44496个来自HH-RLHF。在HH-RLHF数据的筛选过程中，仅保留对话的首轮内容，并剔除助理回复中包含“human”、“thank”、“sorry”等词汇、提出疑问或使用第一人称代词的样本，从而确保数据呈现指令遵循而非对话交互的形态。

特点

该数据集相较于Alpaca数据集规模略大，且在经验评估中展现出更优的生成质量。其核心特点在于通过精细的过滤策略，将原本属于对话场景的HH-RLHF数据转化为更适于指令微调的结构化样本，同时保留了dolly-15k中高质量的人工标注指令数据。数据集采用CC BY-SA 3.0许可协议，允许商业用途，这为研究者和开发者提供了灵活的应用空间。此外，数据集中包含的测试集划分弥补了原始dolly集的不足，便于模型性能的标准化评估。

使用方法

该数据集适用于文本生成任务的监督微调，尤其适合训练遵循指令的对话模型。使用时，可直接通过HuggingFace Datasets库加载，以获取包含“prompt”和“response”字段的样本对。训练集和测试集已明确划分，用户无需额外分割。建议在微调过程中遵循CC BY-SA 3.0许可协议的要求，并引用原始来源。数据集可直接用于构建或改进指令跟随型语言模型，也可作为基准数据集评估模型在多样化指令上的表现。

背景与挑战

背景概述

在大型语言模型（LLM）的飞速发展浪潮中，高质量指令微调数据集成为提升模型遵循人类意图能力的关键基石。2023年，由MosaicML机构创建的Dolly HH-RLHF数据集应运而生，其核心目标在于融合并优化两个极具影响力的开源资源：Databricks的dolly-15k数据集与Anthropic的HH-RLHF数据集。该数据集不仅补全了原始dolly-15k所缺失的测试集划分，更通过精密的过滤策略，从HH-RLHF中提取出符合指令遵循场景的样本，最终构建了一个包含59,310条训练样本和5,129条测试样本的综合性资源。这一创新整合，为研究社区提供了一个比Alpaca更大、质量更优且可商用的指令微调数据源，显著推动了LLM在实用化方向上的发展。

当前挑战

该数据集面临的核心挑战首先在于领域问题的复杂性：如何从混合了多轮对话与单轮指令的原始数据中，精准提炼出纯粹用于指令遵循的样本。MosaicML团队通过去除包含‘human’、‘thank’、‘sorry’等词汇、避免助手指向性提问及第一人称代词的使用，成功将对话数据转化为类指令格式，但这一过滤规则可能因过度简化而丢失部分有价值的多轮交互模式。其次，构建过程中的挑战体现在数据源的异构性上：dolly-15k的众包标注与HH-RLHF的强化学习反馈数据在风格和意图上存在显著差异，如何保持融合后数据集的内在一贯性，并确保其在不同商业场景下的泛化能力，仍是亟待解决的难题。

常用场景

经典使用场景

在自然语言处理与人工智能对齐研究领域，mosaicml/dolly_hhrlhf 数据集被广泛用于指令微调（instruction fine-tuning）与偏好对齐训练。该数据集巧妙融合了 Databricks 的 Dolly-15k 指令数据与 Anthropic 的 HH-RLHF 人类偏好数据，并经过精心过滤，移除了对话中助手的道歉、感谢、提问等不符合指令遵循场景的样本，最终形成高质量、面向单轮指令响应的训练集。研究者常将其作为 Alpaca 数据集的替代或补充，用于训练能够准确理解并执行人类指令的语言模型，尤其在追求模型实用性与商业友好性的场景中，该数据集凭借其 CC BY-SA 3.0 许可协议，成为学术与工业界进行指令微调实验的热门选择。

衍生相关工作

dolly_hhrlhf 数据集的发布催生了一系列后续研究工作，其中最具代表性的是将其作为基础训练数据，结合不同尺度的语言模型（如 Pythia、MPT 系列）进行指令微调对比实验，探索模型规模对指令遵循能力的影响。此外，研究者基于该数据集开发了多种偏好对齐策略，例如将其与直接偏好优化（DPO）算法结合，验证了无需复杂 RLHF 流程即可实现有效对齐的可能性。部分工作还进一步扩展了该数据集的过滤逻辑，通过引入更细粒度的安全性检测（如毒性过滤、事实性校验），衍生出面向特定领域（如医疗、法律）的指令微调变体。这些衍生工作共同推动了开源指令数据生态的繁荣，为后续更高效、更安全的模型训练范式奠定了基础。

数据集最近研究

最新研究方向

在大型语言模型（LLM）的指令微调与对齐研究中，高质量、可商用且覆盖多场景的训练数据成为关键瓶颈。mosaicml/dolly_hhrlhf 数据集融合了 Databricks 的 Dolly-15k 与 Anthropic 的 HH-RLHF 过滤子集，通过剔除对话中带有道歉、感谢或反问等人类化痕迹的样本，构建出更纯净的指令遵循式训练集。这一设计直指当前前沿的“可控对齐”研究方向——如何在减少人工标注成本的同时，提升模型对复杂指令的泛化能力与安全性。该数据集在规模上略超 Alpaca，且因采用 CC BY-SA 3.0 许可证而具备商业友好属性，正被广泛用于探索高效微调策略、偏好学习及 RLHF 替代方案，对推动开源社区构建更鲁棒、更负责任的对话系统具有里程碑意义。