teknium/openhermes

---
language:
- eng
pretty_name: "OpenHermes-v1.0"
tags:
- distillation
- synthetic data
- gpt
task_categories:
- text-generation
---

# OpenHermes Dataset


The OpenHermes dataset is composed of 242,000 entries of primarily GPT-4 generated data, from open datasets across the AI landscape, including:

OpenHermes 13B is the first fine tune of the Hermes dataset that has a fully open source dataset!

OpenHermes was trained on 242,000 entries of primarily GPT-4 generated data, from open datasets across the AI landscape, including:

- GPTeacher - General Instruct, Roleplay v1, Roleplay v2, and Code Instruct Datasets, by Teknium
- WizardLM (v1, evol_instruct 70k), by WizardLM Team/nlpxucan
- Airoboros GPT-4 (v1.0), by JonDurbin
- Camel-AI's domain expert datasets, by the Camel-AI Team
- CodeAlpaca, by Sahil2801
- GPT4-LLM and Unnatural Instructions, by Microsoft

Filtering included removal of OpenAI refusals, disclaimers, and "As an AI" type examples and more

The base dataset mix is identical to the original Nous-Hermes', minus the Nous-Instruct and PDACTL datasets which were private datasets.

---
语言：
- 英语
展示名称："OpenHermes-v1.0"
标签：
- 知识蒸馏
- 合成数据
- GPT
任务类别：
- 文本生成
---
# OpenHermes数据集


OpenHermes数据集由24.2万条数据条目组成，其核心数据均为GPT-4生成内容，取材于人工智能领域各类开源数据集，具体包括：

OpenHermes 13B是首个基于Hermes数据集进行微调的模型，且配套使用完全开源的数据集！

OpenHermes模型基于24.2万条核心为GPT-4生成的数据集条目训练而成，这些数据同样取自人工智能领域的各类开源数据集，涵盖：
- GPTeacher系列数据集（General Instruct、Roleplay v1、Roleplay v2及Code Instruct），由Teknium发布
- WizardLM（v1、evol_instruct 70k版本），由WizardLM团队/nlpxucan开发
- Airoboros GPT-4（v1.0），由JonDurbin制作
- Camel-AI团队发布的领域专家数据集
- CodeAlpaca，由Sahil2801开发
- GPT4-LLM与Unnatural Instructions数据集，由Microsoft推出

数据过滤环节已移除OpenAI的拒绝回复、免责声明以及“作为AI”类示例等内容。

该数据集的基础构成与原始Nous-Hermes数据集完全一致，仅移除了其中属于私有数据集的Nous-Instruct与PDACTL两个数据集。

原始信息汇总

OpenHermes-v1.0 数据集概述

数据集基本信息

• 语言: 英语 (eng)
• 别名: OpenHermes
• 标签:
  • 蒸馏
  • 合成数据
  • GPT
• 任务类别: 文本生成

数据集内容

• 数据规模: 包含242,000条数据
• 数据来源: 主要由GPT-4生成，来源于多个开放数据集，包括：
  • GPTeacher系列数据集，由Teknium提供
  • WizardLM (v1, evol_instruct 70k)，由WizardLM Team/nlpxucan提供
  • Airoboros GPT-4 (v1.0)，由JonDurbin提供
  • Camel-AI的领域专家数据集，由Camel-AI Team提供
  • CodeAlpaca，由Sahil2801提供
  • GPT4-LLM和Unnatural Instructions，由Microsoft提供

数据处理

• 过滤: 移除了OpenAI拒绝响应、免责声明以及“作为AI”类型的示例等。