VMware/open-instruct
收藏Hugging Face2023-07-12 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/VMware/open-instruct
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: alpaca_prompt
dtype: string
- name: response
dtype: string
- name: instruction
dtype: string
- name: source
dtype: string
- name: task_name
dtype: string
- name: template_type
dtype: string
splits:
- name: train
num_bytes: 125656035
num_examples: 142622
download_size: 57912402
dataset_size: 125656035
license: cc-by-3.0
task_categories:
- text-generation
- conversational
- text2text-generation
language:
- en
pretty_name: T
size_categories:
- 100K<n<1M
---
# Dataset Card for "open-instruct"
This dataset is a combination of:
1. Filtered subset of [OpenAssistant/oasst1](https://huggingface.co/datasets/OpenAssistant/oasst1)
2. train split of [Mosaic-dolly-hhrlhf](https://huggingface.co/datasets/mosaicml/dolly_hhrlhf) (consists of [Databrick's dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dataset and a filtered subset of [Anthropic's HH-RLHF](https://huggingface.co/datasets/Anthropic/hh-rlhf)).
3. Filtered subset of [conceptofmind/cot_submix_original](https://huggingface.co/datasets/conceptofmind/cot_submix_original)
## Dataset
The dataset consists of 6 columns:
1. instruction: The natural language instruction without any prompt templates (we extracted them out of the alpaca-format in Mosaic-dolly-hhrlhf)
2. alpaca_prompt: Alpaca prompt template versions of instruction
3. response: The response to the instruction
4. source: Dataset source
5. task_name
6. template_type: flan template used (zeroshot or fewshot)
## License
- It is usable for commercial purposes so long as you follow the terms of the license.
### Dataset subset licenses:
- Open-instruct-v1-dolly-hhrlhf-oasst1 (Mosaic/Dolly-HHRLHF + filtered OASST1) - cc by 3.0
Subset of COT SUBMIX (FROM FLAN V2) Zeroshot examples:
- ESNLI - MIT
- ECQA - CDLA 1.0 - Sharing
- Strategy - MIT
- CREAK - MIT
- gsmk8 - MIT
- aqua - MIT
- qasc - Apache 2.0
Certain categories of material in the dataset include materials from the following sources, licensed under the CC BY-SA 3.0 license:
Wikipedia (various pages) - https://www.wikipedia.org/
- Copyright © Wikipedia editors and contributors.
Databricks (https://www.databricks.com)
- Copyright © Databricks
Mosaic ML (https://www.mosaicml.com/)
- Copyright © Mosaic ML
VMware
- Copyright © VMware
[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
数据集信息：
特征：
- 名称："alpaca_prompt"，数据类型：字符串
- 名称："response"，数据类型：字符串
- 名称："instruction"，数据类型：字符串
- 名称："source"，数据类型：字符串
- 名称："task_name"，数据类型：字符串
- 名称："template_type"，数据类型：字符串
划分集：
- 名称：train，字节数：125656035，样本数：142622
下载大小：57912402，数据集总大小：125656035
许可证：CC BY 3.0
任务类别：
- 文本生成
- 对话式
- 文本到文本生成
语言：
- 英语
友好名称：T
样本规模区间：100K<n<1M
---
# 「open-instruct」数据集卡片
本数据集由以下三部分组合而成：
1. 经过筛选的 [OpenAssistant/oasst1](https://huggingface.co/datasets/OpenAssistant/oasst1) 子集
2. [Mosaic-dolly-hhrlhf](https://huggingface.co/datasets/mosaicml/dolly_hhrlhf) 的训练划分集（该数据集包含 [Databrick's dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) 数据集与经过筛选的 [Anthropic's HH-RLHF](https://huggingface.co/datasets/Anthropic/hh-rlhf) 子集）
3. 经过筛选的 [conceptofmind/cot_submix_original](https://huggingface.co/datasets/conceptofmind/cot_submix_original) 子集
## 数据集概况
本数据集包含6个字段：
1. 指令（"instruction"）：无任何提示模板的自然语言指令，我们从Mosaic-dolly-hhrlhf的Alpaca格式数据中提取得到
2. "alpaca_prompt"：指令对应的Alpaca提示模板（Alpaca prompt template）版本
3. 回复（"response"）：针对该指令的模型回复
4. 来源（"source"）：数据集的原始来源
5. 任务名称（"task_name"）
6. 模板类型（"template_type"）：所使用的FLAN模板（FLAN template），分为零样本（zeroshot）与少样本（fewshot）两类
## 许可证声明
遵循本许可证条款即可将本数据集用于商业用途。
### 子数据集许可证
- Open-instruct-v1-dolly-hhrlhf-oasst1（Mosaic/Dolly-HHRLHF + 筛选后的OASST1）：采用CC BY 3.0许可证
COT SUBMIX（源自FLAN V2）的零样本示例子集：
- ESNLI：采用MIT许可证
- ECQA：采用CDLA 1.0 - Sharing许可证
- Strategy：采用MIT许可证
- CREAK：采用MIT许可证
- gsmk8：采用MIT许可证
- aqua：采用MIT许可证
- qasc：采用Apache 2.0许可证
本数据集部分内容源自以下来源，这些内容采用CC BY-SA 3.0许可证进行授权：
维基百科（各页面） - https://www.wikipedia.org/
- 版权所有 © 维基百科编辑者与贡献者。
Databricks（https://www.databricks.com）
- 版权所有 © Databricks
Mosaic ML（https://www.mosaicml.com/）
- 版权所有 © Mosaic ML
VMware
- 版权所有 © VMware
[如需更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
提供机构：
VMware原始信息汇总
数据集概述
数据集名称
- open-instruct
数据集组成
- 过滤后的 OpenAssistant/oasst1 子集
- Mosaic-dolly-hhrlhf 的训练分割，包含 Databricks dolly-15k 数据集和 Anthropics HH-RLHF 的过滤子集
- 过滤后的 conceptofmind/cot_submix_original 子集
数据集特征
- instruction: 自然语言指令，无任何提示模板
- alpaca_prompt: 指令的 Alpaca 提示模板版本
- response: 对指令的响应
- source: 数据集来源
- task_name
- template_type: 使用的 flan 模板（zeroshot 或 fewshot）
数据集大小
- 训练分割大小：125656035 字节
- 训练分割示例数：142622
- 下载大小：57912402 字节
许可证
- 主许可证：cc-by-3.0
- 子集许可证：
- Open-instruct-v1-dolly-hhrlhf-oasst1: cc by 3.0
- ESNLI: MIT
- ECQA: CDLA 1.0 - Sharing
- Strategy: MIT
- CREAK: MIT
- gsmk8: MIT
- aqua: MIT
- qasc: Apache 2.0
任务类别
- text-generation
- conversational
- text2text-generation
语言
- en
大小类别
- 100K<n<1M
搜集汇总
数据集介绍
构建方式
在自然语言处理领域，指令微调数据集对于提升大语言模型遵循人类指令的能力至关重要。VMware/open-instruct数据集通过整合多个高质量开源资源构建而成，具体包括OpenAssistant/oasst1的过滤子集、Mosaic-dolly-hhrlhf的训练集（其本身融合了Databricks的dolly-15k与Anthropic的HH-RLHF过滤子集），以及conceptofmind/cot_submix_original的过滤子集。最终数据集包含六个字段：instruction（去除了提示模板的原始指令）、alpaca_prompt（Alpaca格式的提示模板版本）、response（对应回答）、source（数据来源）、task_name（任务名称）以及template_type（使用的Flan模板类型，分为零样本或少样本）。
使用方法
使用该数据集进行模型微调时，可直接加载HuggingFace上的VMware/open-instruct仓库，通过标准的数据集API获取训练集。研究者可根据需要选择instruction字段作为输入，response字段作为目标输出，或利用alpaca_prompt字段适配Alpaca风格的微调流程。对于需要探究不同提示策略影响的工作，可借助template_type字段区分零样本与少样本模板。数据集已预先划分为单一训练集，无需额外分割，可直接用于监督式指令微调，也可结合task_name字段进行多任务学习实验。
背景与挑战
背景概述
VMware/open-instruct数据集由VMware研究团队于2023年发布，旨在构建高质量、多来源的指令微调数据集，以提升大型语言模型遵循自然语言指令的能力。该数据集融合了OpenAssistant/oasst1、Mosaic-dolly-hhrlhf（包含Databricks的dolly-15k和Anthropic的HH-RLHF子集）以及conceptofmind/cot_submix_original等公开资源的过滤版本，共计约14万条训练样本。核心研究问题聚焦于如何通过整合多样化指令数据，增强模型在零样本与少样本场景下的泛化性能与任务适应性。该数据集在开源社区中影响力显著，为后续指令微调研究提供了标准化基准，并推动了商业友好型语言模型的发展。
当前挑战
该数据集面临的挑战涵盖领域问题与构建过程两个层面。在领域问题方面，指令微调数据集需解决模型对复杂、多步骤指令的理解与执行能力不足，以及跨任务泛化性薄弱的问题，例如模型在未见过的任务类型上易出现响应偏差或逻辑断裂。在构建过程中，挑战包括从多个来源（如OASST1、HH-RLHF）过滤低质量、重复或有害内容时，需平衡数据多样性、标注一致性与许可合规性；同时，将不同格式的指令（如Alpaca模板、Flan模板）统一标准化，避免模板偏差干扰模型学习，亦是一项精细工程。此外，确保数据集的商业可用性（如CC BY 3.0许可）进一步增加了版权审核的复杂性。
常用场景
经典使用场景
Open-Instruct数据集由VMware发布，整合了OASST1、Dolly-HHRLHF及COT Submix等高质量指令数据，专为监督式微调（SFT）设计。其核心应用在于训练大语言模型遵循自然语言指令，尤其通过Alpaca模板统一指令格式，使模型在零样本或少样本场景下生成精准响应。该数据集包含超过14万条样本，覆盖推理、对话、文本生成等多元任务，是构建指令跟随型LLM的基石资源。
解决学术问题
该数据集有效解决了指令微调领域数据来源碎片化与质量参差不齐的学术难题。通过融合并过滤多个权威子集（如Anthropic的HH-RLHF与Databricks的Dolly），它提供了标准化、可复现的基准，助力研究者在统一框架下探究数据规模、模板设计对模型泛化能力的影响。其意义在于推动了大语言模型对齐研究，为后续RLHF与上下文学习提供了可靠的监督信号基础。
实际应用
在实际应用中，Open-Instruct数据集被广泛用于开发智能客服、代码助手与教育辅导系统。企业可基于其指令-响应对微调私有模型，实现任务导向的对话生成，例如自动生成技术文档或解答用户查询。其CC-BY-3.0许可协议降低了商用门槛，使得中小团队也能利用该数据快速部署合规的垂直领域AI工具。
数据集最近研究
最新研究方向
当前，VMware/open-instruct数据集在大语言模型指令微调与对齐领域扮演着重要角色。随着开源社区对模型可控性与安全性的关注日益升温，该数据集通过融合OpenAssistant、Dolly-HHRLHF及COT子集等多源高质量指令数据，为研究者在零样本与少样本场景下探索模型对复杂指令的遵循能力提供了基准。其前沿研究方向聚焦于如何利用混合数据源提升模型在多任务泛化中的鲁棒性，尤其是在对抗性指令与伦理对齐方面的表现。该数据集的发布呼应了业界对透明、可复现训练流程的需求，推动了从封闭式专有模型向开放式协作生态的转变，对加速AI安全研究具有里程碑意义。
以上内容由遇见数据集搜集并总结生成
