PKU-Alignment/Align-Anything-Instruction-100K-zh

Align-Anything-Instruction-100K-zh是一个高质量的中文指令跟随数据集，包含104,550个精心制作的问答对。这些问答对来自多个数据源，包括Firefly和COIG，以及通过GPT-4增强的自建问答对。数据集涵盖了多种类别，如摘要、创作、提取、分类、角色扮演、知识问答、开放问答、推理、头脑风暴等。每个问答对都经过GPT-4的后期处理，确保数据集的高质量。Align-Anything-Instruction-100K-zh is a high-quality Chinese instruction-following dataset containing 100K question-answer pairs, covering various categories such as summarization, creation, extraction, classification, and more. The data sources include Firefly, COIG, and self-constructed QA pairs, with 49.3% of the QA pairs meticulously constructed and annotated by GPT-4. The quality of the dataset is ensured through post-processing by GPT-4, and it has demonstrated excellent performance in multiple model evaluations.

原始信息汇总

数据集概述

基本信息

• 名称: Align-Anything-Instruction-100K-zh
• 许可: cc-by-nc-4.0
• 任务类别: 文本生成
• 语言: 中文
• 标签: 指令跟随, 大型语言模型, 语言模型
• 数据规模: 100K<n<1M

数据来源

• Firefly: 47.8%
• COIG: 2.9%
• 自建QA对: 49.3%

数据概述

• QA对数量: 104,550
• 数据增强: 使用GPT-4进行增强
• 数据类型: 涵盖总结、创作、提取、分类、角色扮演、知识问答、开放问答、推理、头脑风暴等多种类别

数据处理

• 数据来源: 50.7%来自公开数据集，49.3%由专家指导下的GPT-4标注
• 后处理: 每个QA对均由GPT-4根据特定指南进行后处理

模型训练与评估

• 训练模型: Llama2-7B, Llama3-8B, Qwen2-7B
• 评估基准: Just-Eval
• 评估维度: 有用性、清晰度、事实性、深度、参与度
• 评估结果: 使用该数据集训练的模型在所有维度上表现优异

使用方法

• 加载数据集: 使用load_dataset()函数加载数据集 python from datasets import load_dataset

dataset = load_dataset("PKU-Alignment/Align-Anything-Instruction-100K-zh")

搜集汇总

数据集介绍

构建方式

PKU-Alignment/Align-Anything-Instruction-100K-zh数据集的构建，是从Firefly、COIG等公开数据集中精心挑选出50.7%的问答对，剩余49.3%的问答对则是通过专家指导下的GPT-4进行创作和标注。每一组问答对都经过GPT-4的后期处理，以确保指令遵循数据集的高质量标准。

特点

该数据集包含10万条中文问答对，覆盖了摘要、创作、提取、分类、角色扮演、知识问答、开放问答、推理、头脑风暴等多种类别，具有高度多样化的内容。数据集在构建过程中注重质量，通过专家指导的精细标注，确保了数据集在遵循指令方面的精确性和实用性。

使用方法

使用该数据集时，可以通过HuggingFace的load_dataset()函数直接加载。加载后，用户可以获取到经过精心构建和标注的问答对，用于指令遵循相关的模型训练和评估。

背景与挑战

背景概述

PKU-Alignment/Align-Anything-Instruction-100K-zh数据集，是在自然语言处理领域中，针对指令跟随任务而构建的高质量中文数据集。该数据集由北京大学知识工程实验室的PKU-Alignment团队于2023年创建，旨在推进中文语言模型的指令理解和执行能力。数据集由104,550对精雕细琢的问答对组成，数据来源包括Firefly、COIG等公开数据集，以及团队自主构建的QA对，并经过GPT-4的后期加工，保证了数据的质量和多样性。此数据集的构建，对提升中文指令跟随模型性能具有显著的研究价值和应用意义。

当前挑战

构建PKU-Alignment/Align-Anything-Instruction-100K-zh数据集的过程中，研究者面临了多项挑战。首先，确保数据来源的多样性和质量，对既有数据集进行筛选和加工，同时创造新的QA对，需要大量的人力物力投入。其次，数据集构建过程中的标注和质量控制，特别是利用GPT-4进行后期加工，需要精确的指导原则和标准，以确保数据的准确性和可靠性。此外，数据集在用于模型训练和评估时，还需解决多维度性能指标的评价问题，这要求数据集能够全面覆盖不同类型的指令任务，对模型的泛化能力提出考验。

常用场景

经典使用场景

在自然语言处理领域，尤其是指令微调（Instruction Tuning）任务中，PKU-Alignment/Align-Anything-Instruction-100K-zh数据集提供了10万条精心构造的中文问答对，这些问答对覆盖了摘要、创作、提取、分类、角色扮演、知识问答、开放问答、推理、头脑风暴等多种类别。该数据集的经典使用场景是作为预训练语言模型的指令微调依据，以及用于评估和改进模型的指令遵循能力。

衍生相关工作

基于PKU-Alignment/Align-Anything-Instruction-100K-zh数据集，研究者们已经开展了一系列相关工作，包括但不限于构建更加精细化的指令理解模型，研究模型在不同领域的指令遵循性能，以及探索如何结合该数据集进行跨语言指令生成的可能性。这些衍生工作进一步扩展了数据集的应用范围，促进了自然语言处理技术的进步。

数据集最近研究

最新研究方向

在自然语言处理领域，指令跟随任务正日益受到重视。PKU-Alignment/Align-Anything-Instruction-100K-zh数据集为此领域提供了高质量的中文指令数据，包含10万对问答对，覆盖了摘要、创作、提取、分类等多个类别。该数据集结合了公开数据集和专家指导下由GPT-4注释的自制问答对，每一对问答都经过GPT-4的后处理，确保了数据的质量。近期研究利用该数据集对Llama2-7B、Llama3-8B、Qwen2-7B等基础模型进行了训练，并在Just-Eval基准上进行了评估，结果显示模型在各项指标上均有卓越表现，为中文指令生成与理解的研究和模型训练提供了重要资源。