Awesome-instruction-tuning

这是一个精选的数据集合集，专注于指令调优领域，收集和整理了多个开源指令调优数据集。合集覆盖了从传统NLP任务修改而来的数据集以及由大型语言模型生成的数据集，包括UnifiedQA、CrossFit、Natural Instructions、Flan、P3、MetaICL、ExMix、Super-Natural Instructions、GLM、xP3、Unnatural Instructions、Alpaca、Dolly、Guanaco、Chinese-Vicuna等。内容以表格形式组织，提供数据集发布年份、名称、任务数量、实例数量、相关模型等详细信息，旨在为研究人员和开发者提供全面的指令调优数据集资源索引。This is a curated dataset collection focused on the instruction tuning domain, which collects and organizes multiple open-source instruction tuning datasets. The collection covers datasets adapted from traditional NLP tasks and datasets generated by large language models, including UnifiedQA, CrossFit, Natural Instructions, Flan, P3, MetaICL, ExMix, Super-Natural Instructions, GLM, xP3, Unnatural Instructions, Alpaca, Dolly, Guanaco, Chinese-Vicuna, and more. The content is structured in tabular format, providing detailed information such as the dataset's release year, name, number of tasks, number of instances, and associated models, aiming to offer a comprehensive resource index of instruction tuning datasets for researchers and developers.

原始信息汇总

数据集详情总结

该页面是一个关于指令微调（Instruction Tuning）的开源资源汇总仓库，涵盖了数据集、模型、论文和相关仓库。

数据集与模型

1. 基于传统NLP任务改造的数据集

以下数据集由传统NLP任务改造而来，按发布时间排序：

发布时间	数据集	任务数量	实例数量	对应模型	基座模型	模型规模
2020-05	UnifiedQA	46	750k	UnifiedQA	RoBerta	110-340 M
2021-04	CrossFit	159	71M	BART-CrossFit	BART	140 M
2021-04	Natural Inst v1.0	61	620k	Gen. BART	BART	140 M
2021-09	Flan 2021	62	4.4M	Flan-LaMDA	LaMDA	137B
2021-10	P3	62	12M	TO, TO+, TO++	T5-LM	3-11B
2021-10	MetalCL	142	3.5M	MetalCL	GPT-2	770 M
2021-11	ExMix	107	500k	ExT5	T5	220M-11B
2022-04	Super-Natural Inst.	1613	5M	Tk-Instruct	T5-LM, mT5	17-13B
2022-10	GLM	77	12M	GLM-130B	GLM	130 B
2022-10	Flan 2022	1836	15M	Flan-T5, Flan-PaLM	T5-LM, PaLM	10 M-540 B
2022-11	xP3	71	81M	BLOOMz, mTO	BLOOM, mT5	13-176B
2022-12	Unnatural Inst.	117	64k	T5-LM-Unnat. Inst.	T5-LM	11B

2. 由大语言模型生成的数据集

发布时间	模型名称	基座模型	模型规模	数据集	实例数量	语言
2022-12	GPT-3 Self Inst.	GPT-3	175B	Self-Instruct	82k	英文
2023-03-03	alpaca	LLaMA	7B	alpaca_data	52k	英文
2023-03-19	alpaca-lora	LLaMA	7B, 13B, 30B	alpaca_data, alpaca_data_cleaned	52k	英文
2023-03-23	Chinese-Vicuna	LLaMA	7B, 13B	BELLE, GuanacoDataset	1M	中文
2023-03-24	Alpaca-CoT	LLaMA	7B	dataset	—	中英文
2023-03-25	dolly	dolly	6B	alpaca_data	52k	英文
2023-03-25	guanaco	LLaMA	7B	GuanacoDataset	534k	英/中/日/德
2023-03-28	Chinese-LLaMA-Alpaca	LLaMA	7B	alpaca_data_zh, pCLUE, translation2019zh, alpaca_data, Self-Instruct	2M	中文
2023-03-29	ColossalChat	LLaMA	7B, 13B	InstructionWild	104k	中英文
2023-03-31	Luotuo	LLaMA, ChatGLM	7B, 6B	trans_chinese_alpaca_data	52k	中文
2023-03-31	cerebras-lora-alpaca	Cerebras-GPT	2.7B	AlpacaDataCleaned	52k	英文

多语言翻译工具

页面提供了基于 Helsinki-NLP 的开源翻译工具，可将英文数据集翻译为超过100种语言。

• translator.py：用于翻译数据集，支持各种 Helsinki-NLP 模型
  • 用法示例：python translator.py Helsinki-NLP/opus-mt-en-zh alpaca_data.json
• process.py：用于处理翻译结果，可删除包含连续重复三次及以上字符串的提示
  • 用法示例：python process.py translated_data.json
• 提供了最终处理后的翻译数据文件：translated_alpaca_data.json
• 对于超过最大输入长度的提示，会在翻译前丢弃

相关论文

页面列出了以下具有代表性的论文（按时间排序）：

• Finetuned language models are zero-shot learners (2021.9)
• Multitask Prompted Training Enables Zero-Shot Task Generalization (2021.10)
• Training language models to follow instructions with human feedback (2022.3)
• Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks (2022.4)
• Unsupervised Cross-Task Generalization via Retrieval Augmentation (2022.4)
• Instruction Induction: From Few Examples to Natural Language Task Descriptions (2022.5)
• Scaling Instruction-Finetuned Language Models (2022.10)
• Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-Shot Learners (2022.10)
• Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor (2022.12)
• Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations (2022.12)
• Self-Instruct: Aligning Language Model with Self Generated Instructions (2022.12)
• MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning (2022.12)
• The Flan Collection: Designing Data and Methods for Effective Instruction Tuning (2023.1)
• In-Context Instruction Learning (2023.2)

相关仓库

指令学习

• awesome-instruction-learning
• awesome-instruction-dataset

上下文学习（ICL）

• ICL_PaperList
• prompt-in-context-learning

推理

• LM-reasoning
• LLM-Reasoning-Papers
• Chain-of-ThoughtsPapers

框架

• OpenICL

搜集汇总

数据集介绍

构建方式

Awesome-instruction-tuning数据集是一个精心整理的开源指令微调资源集合，其构建方式体现了系统性与全面性。该数据集主要从两个维度进行收集与整合：一方面，基于传统自然语言处理任务进行改造，参照Longpre等人的工作，收录了从UnifiedQA、CrossFit到Flan 2022等11个经典数据集，涵盖了从2020年至2022年间发布的、源自传统NLP任务的指令微调数据，这些数据集经过任务格式转换与指令化处理，形成了包含数十至数千万条实例的丰富资源。另一方面，该数据集还纳入了由大型语言模型生成的指令数据，如Self-Instruct、alpaca、guanaco等，这些数据集通过利用GPT-3、LLaMA等先进模型自动生成指令-响应配对，显著扩展了数据规模与多样性。此外，为突破语言壁垒，该数据集还开发了基于Helsinki-NLP的多语言翻译工具，能够将英文数据集低成本地转化为100多种语言版本，并附带了后处理脚本以优化翻译质量。

特点

该数据集的核心特点在于其高度的系统化组织与跨语言的包容性。首先，它按照数据来源进行了清晰的分类，包括‘源自传统NLP任务’与‘由LLM生成’两大类别，每类下又以发布时间、任务数量、实例规模、基础模型及参数规模等维度进行了结构化呈现，便于研究者快速定位与比较。其次，该数据集不仅聚焦于英文资源，还特别关注多语言覆盖，通过自主研发的翻译工具将英文数据扩展到包括中文、日文、德文在内的多种语言，尽管翻译结果可能存在噪声，但为资源匮乏语言的研究提供了可行方案。此外，该数据集还整合了相关领域的重要论文与代码仓库，形成了一个从数据、模型到学术文献的完整生态，为指令微调研究提供了全方位的参考。

使用方法

使用该数据集时，研究者可直接从列表中选择所需的指令微调数据集进行模型训练与评估。对于源自传统NLP任务的数据集，如Flan 2022或Super-Natural Inst.，可直接利用其提供的实例进行微调。对于由LLM生成的数据集，如alpaca_data，则可通过Hugging Face等平台直接加载。特别地，针对多语言需求，该数据集提供了便捷的翻译工具：通过运行‘python translator.py 模型名称 源数据路径’命令，可将英文数据转化为目标语言，例如‘python translator.py Helsinki-NLP/opus-mt-en-zh alpaca_data.json’即可生成中文版本。翻译后的数据若存在重复或噪声，可通过‘python process.py 未处理数据路径’脚本进行清洗，最终获得质量更优的‘translated_alpaca_data.json’文件。此外，该数据集还整理了相关论文与代码仓库，为深入理解指令微调的原理与实践提供了延伸资源。

背景与挑战

背景概述

指令微调（Instruction Tuning）作为大语言模型（LLMs）领域的一项关键技术，旨在通过自然语言指令格式化的任务数据对预训练模型进行微调，从而赋予模型遵循人类意图并泛化至未见任务的能力。该方向的研究可追溯至2020年UnifiedQA的提出，随后Flan、P3、Super-NaturalInstructions等大规模数据集与模型的涌现，显著推动了零样本跨任务泛化的发展。2023年初，Self-Instruct和Alpaca等基于LLM生成数据的方法进一步降低了构建成本，使得指令微调成为提升模型对齐性能的主流范式。Awesome-instruction-tuning数据集由社区维护，系统梳理了从传统NLP改造数据集到LLM生成数据集、多语言工具及核心论文的完整生态，为研究者提供了宝贵的资源索引。

当前挑战

当前指令微调领域面临多重挑战：首先，数据质量与多样性不足，现有数据集多集中于英文，低资源语言的指令数据极度匮乏，且LLM自动生成的数据常包含噪声、重复或偏差，影响模型鲁棒性。其次，任务覆盖范围有限，尽管已有Super-NaturalInstructions等大规模集合，但真实世界中长尾、复杂或跨模态的指令仍难以充分模拟，导致模型泛化能力受限。此外，构建过程中面临翻译工具质量瓶颈，如Helsinki-NLP模型在翻译时存在词重复及长度限制问题，需后处理过滤；同时，数据规模与计算成本之间的权衡亦是一大难题，如何高效筛选高质量指令实例以降低微调开销仍是开放问题。

常用场景

经典使用场景

在自然语言处理领域，指令微调（Instruction Tuning）已成为提升大型语言模型（LLM）泛化能力的关键范式。Awesome-instruction-tuning数据集汇聚了从传统NLP任务改造而来的指令数据集（如Flan 2022、Super-Natural Instructions）以及由LLM自动生成的指令数据（如Self-Instruct、Alpaca）。其经典使用场景在于为研究者提供一套系统化的数据资源，用于训练模型遵循多样化的人类指令，从而在零样本或少样本场景下完成未见过的任务，例如文本分类、问答、摘要生成等。通过整合多任务、多实例的指令数据，该数据集支持模型学习任务间的共享知识，显著提升了指令遵循的鲁棒性和迁移能力。

解决学术问题

该数据集的核心贡献在于解决了大型语言模型在零样本泛化与任务迁移中的关键学术难题。传统微调方法依赖大量标注数据且局限于特定任务，而Awesome-instruction-tuning通过系统收集和标准化多源指令数据（如P3、xP3），使模型能够从自然语言描述中理解任务意图，突破了任务特定训练的限制。它推动了指令微调理论的发展，验证了多任务提示训练（如Flan-T5）在零样本学习中的有效性，并揭示了数据规模、任务多样性对泛化性能的量化影响。此外，其提供的多语言翻译工具（如Helsinki-NLP）为低资源语言研究开辟了路径，缓解了语言数据分布不均的问题。

衍生相关工作

该数据集催生了一系列开创性工作，深刻影响了指令微调领域的研究方向。经典衍生工作包括Self-Instruct，它提出利用强LLM自生成指令数据的方法，大幅降低了人工标注成本；Alpaca在此基础上结合LoRA实现了高效微调，成为低成本复现ChatGPT能力的重要范例。另一方面，Flan 2022和Super-Natural Instructions验证了任务规模与多样性对泛化性能的增益，推动了后续的Scaling Law研究。此外，xP3数据集与BLOOMz模型聚焦多语言泛化，而Unnatural Instructions则探索了噪声数据的利用边界。这些工作共同构建了从数据构建到模型训练、评估的完整技术栈。