awesome-llm-datasets

这是一个精心策划的数据集资源合集，专注于收集和整理用于大型语言模型（LLMs）、人类反馈强化学习（RLHF）及相关资源的数据集。合集覆盖多个领域，包括预训练数据集、指令调优数据集、RLHF数据集、评估数据集等，并提供工具、预训练模型和研究论文的链接，旨在帮助研究人员和开发者从数据角度处理LLMs和RLHF。

This is a curated collection of dataset resources, dedicated to collecting and organizing datasets for large language models (LLMs) and reinforcement learning from human feedback (RLHF), alongside related resources. The collection spans multiple domains, including pre-training datasets, instruction-tuning datasets, RLHF datasets, evaluation datasets, and more. It also provides links to tools, pre-trained models and research papers, aiming to assist researchers and developers in addressing LLMs and RLHF from a data-centric perspective.

原始信息汇总

👩🤝🤖 Awesome LLM Datasets 数据集详情

概述

该仓库是一个专注于语言模型（LLM）和基于人类反馈的强化学习（RLHF）数据集的资源集合，收录了各类开放数据集、工具、预训练模型及研究论文，旨在从数据角度帮助研究人员和开发者开展工作。

数据集分类

1. 预训练数据集

2023年

• RedPajama Data
  • 包含1.2万亿个Token的英文数据集
  • 数据来源与规模：

    数据源	Token数量
    Commoncrawl	8780亿
    C4	1750亿
    GitHub	590亿
    Books	260亿
    ArXiv	280亿
    Wikipedia	240亿
    StackExchange	200亿
    总计	1.2万亿

  • 同时提供数据准备、去重、分词和可视化的代码
  • 创建者：Ontocord.ai、MILA Québec AI Institute、ETH DS3Lab、Université de Montréal、Stanford Center for Research on Foundation Models (CRFM)、Stanford Hazy Research research group 和 LAION

2. 指令微调数据集

• 分类索引存在，具体内容待补充

3. RLHF与对齐数据集

• 分类索引存在，具体内容待补充

4. 评估数据集

• 分类索引存在，具体内容待补充

5. 其他用途数据集

• 分类索引存在，具体内容待补充

模型与其所用数据集

LLaMA

• 概述：Meta AI发布的一系列开源基础模型，参数量从7B到65B
• 许可协议：模型使用非商业定制许可，代码使用GPL-3.0
• 相关链接：
  • 发布博客：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
  • arXiv论文：https://arxiv.org/abs/2302.13971
  • 模型卡片：https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md

Vicuna

• 概述：基于LLaMA微调的13B参数开源聊天机器人模型，训练数据为约7万条ChatGPT对话，性能达到ChatGPT的92%，超越LLaMA和Alpaca
• 许可协议：模型使用非商业定制许可，代码使用Apache 2.0
• 相关链接：
  • 仓库：https://github.com/lm-sys/FastChat#vicuna-weights
  • 发布博客：https://vicuna.lmsys.org/
  • ShareGPT数据集：https://sharegpt.com/
  • 模型（Hugging Face）：https://huggingface.co/lmsys
  • Gradio演示：https://chat.lmsys.org/

Dolly 2.0

• 概述：完全开源的12B参数指令跟随LLM，基于人工生成的指令数据集微调，数据集可用于研究和商业用途
• 许可协议：模型使用CC BY-SA 3.0，数据集使用CC BY-SA 3.0，代码使用Apache 2.0
• 相关链接：
  • 仓库：https://github.com/databrickslabs/dolly
  • 发布博客：https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm
  • 模型（Hugging Face）：https://huggingface.co/databricks

LLaVA

• 概述：多模态LLM，结合视觉编码器和Vicuna，具备类似GPT-4的通用视觉和语言理解能力
• 许可协议：模型使用非商业定制许可，数据集使用CC BY NC 4.0，代码使用Apache 2.0
• 相关链接：
  • 仓库：https://github.com/haotian-liu/LLaVA
  • 项目主页：https://llava-vl.github.io/
  • arXiv论文：https://arxiv.org/abs/2304.08485
  • 数据集与模型（Hugging Face）：https://huggingface.co/liuhaotian
  • Gradio演示：https://llava.hliu.cc/

StableLM

• 概述：一系列低参数量（3B、7B）LLM，基于The Pile构建的新数据集训练，含1.5万亿个Token内容
• 许可协议：模型使用CC BY-SA-4.0
• 相关链接：
  • 仓库：https://github.com/stability-AI/stableLM/
  • 发布博客：https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models
  • 模型（Hugging Face）：https://huggingface.co/stabilityai
  • Gradio演示：https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

Alpaca

• 概述：基于LLaMA微调的部分开源指令跟随模型，规模更小、成本更低，性能与GPT-3.5相似
• 许可协议：模型使用非商业定制许可，数据集使用CC BY-NC 4.0，代码使用Apache 2.0
• 相关链接：
  • 发布博客：https://crfm.stanford.edu/2023/03/13/alpaca.html
  • 数据集（Hugging Face）：https://huggingface.co/datasets/tatsu-lab/alpaca

其他资源

仓库还包含了工具与方法、研究论文的索引目录，具体内容等待后续补充。

搜集汇总

数据集介绍

构建方式

该数据集以精选资源列表的形式构建，整合了与大型语言模型（LLM）及基于人类反馈的强化学习（RLHF）相关的多种开放数据集、工具、预训练模型及研究论文。其构建过程系统性地将资源按用途分类，包括预训练数据集（如RedPajama Data，包含1.2万亿token的英文语料，涵盖Commoncrawl、C4、GitHub等子集）、指令微调数据集、RLHF数据集、评估数据集及其他用途数据集。此外，还收录了如LLaMA、Vicuna、Dolly 2.0等知名模型及其对应数据集，并提供了相关代码库、论文和演示链接，形成一个全面且结构化的知识库。

使用方法

研究者可直接通过该数据集的目录结构快速定位所需资源。例如，若需预训练数据，可浏览“For pre-training”部分，获取如RedPajama Data等大型语料库的GitHub仓库及使用说明；若需指令微调数据，可参考“For instruction-tuning”中的相关数据集链接。对于模型实践，可查阅“Models and their datasets”部分，获取如Vicuna的ShareGPT数据集或Alpaca的Hugging Face数据集，并配合提供的代码库与演示进行实验。此外，工具与论文部分提供了进一步的技术支持与理论参考，便于深入探索与应用。

背景与挑战

背景概述

在大型语言模型（LLM）与基于人类反馈的强化学习（RLHF）领域，数据集的构建与整合是推动模型性能跃升的核心驱动力。自2023年以来，随着LLaMA、Vicuna、Dolly 2.0等模型的涌现，学术界与工业界对高质量、多样化、开放许可的数据集需求日益迫切。该数据集集合由Ontocord.ai、MILA Québec AI研究所、ETH DS3Lab、蒙特利尔大学、斯坦福CRFM及LAION等顶尖机构于2023年联合创建，旨在系统梳理预训练、指令微调、RLHF及评估等关键环节的公开数据集资源。其核心研究问题聚焦于如何通过数据层面的优化，提升LLM的泛化能力、对齐效果与可复现性，为后续研究提供了结构化索引与基准参考，对推动开放科学和模型民主化具有重要影响力。

当前挑战

该领域面临多重挑战：首先，预训练数据需解决多源异构语料的去重、质量筛选与版权合规问题，例如RedPajama中CommonCrawl与C4的噪声控制；其次，指令微调数据集如Alpaca依赖GPT-4生成，存在分布偏移与幻觉风险，且人工标注成本高昂；再次，RLHF数据需平衡人类偏好标注的一致性与多样性，Dolly 2.0虽开源但规模有限；此外，评估数据集缺乏统一基准，难以全面衡量模型在推理、安全与多模态任务上的表现。构建过程中，跨机构协作面临数据格式不统一、许可冲突及计算资源瓶颈，例如LLaVA的多模态数据对齐需处理视觉与语言模态的语义鸿沟，而StableLM的1.5万亿token训练则对存储与预处理流水线提出严峻挑战。

常用场景

经典使用场景

在大型语言模型（LLM）与基于人类反馈的强化学习（RLHF）领域，数据集的构建与选择是决定模型性能的基石。awesome-llm-datasets项目犹如一座精心编纂的宝库，系统性地汇聚了从预训练到指令微调、从RLHF对齐到评估验证的全链路数据集资源。研究者可借助此索引快速定位如RedPajama这般规模达1.2万亿token的英文预训练语料，亦能发现Dolly 2.0这类完全开源且兼容商业用途的指令数据集。该仓库通过结构化分类与模型-数据集关联映射，为从业者提供了从数据源头到模型落地的导航图，极大降低了数据筛选与配适的试错成本。

解决学术问题

该数据集索引体系直面LLM研究中的核心痛点：数据碎片化与复现性危机。通过整合来自Ontocord.ai、斯坦福CRFM等顶级机构的开源数据，它解决了预训练语料来源单一、指令数据质量参差不齐的学术难题。例如，RedPajama对CommonCrawl、C4、GitHub等多源数据去重与标准化，为构建通用语言理解基准提供了可复现的工程范式。同时，它揭示了数据规模与模型能力间的非线性关系——Vicuna仅凭70k ChatGPT对话即能达到92%的GPT-4性能，这一发现推动了数据效率研究的范式革新，促使学界重新审视数据质量对对齐效果的支配性作用。

实际应用

在实际产业应用中，该数据集目录已成为LLM研发的标准化数据基建。企业可依据其分类快速构建定制化训练流水线：如使用RedPajama进行基座模型预训练，借助ShareGPT对话数据微调出类Vicuna的客服机器人，或采用Dolly 2.0的CC BY-SA 3.0许可数据集开发合规的商业对话系统。Stability AI基于The Pile构建的StableLM系列，正是通过该索引中标注的1.5万亿token语料实现了低参数量下的高效推理。此外，LLaVA多模态模型的成功表明，将视觉编码器与Vicuna结合时，其数据集链接可直接复用，显著缩短了从论文到Demo的工程周期。

数据集最近研究

最新研究方向

在大型语言模型（LLM）与基于人类反馈的强化学习（RLHF）领域，数据集的构建与优化正成为推动模型能力跃升的核心引擎。当前前沿研究聚焦于预训练语料的规模化与多样化，如RedPajama项目整合CommonCrawl、C4、GitHub等多源数据，构建了1.2万亿token的高质量英文语料库，为模型泛化奠定基础。与此同时，指令微调与对齐数据集的设计备受关注，以Vicuna、Dolly 2.0为代表的工作通过人类生成对话或指令数据，显著提升了模型遵循指令的能力，其中Dolly 2.0首次采用完全开源且可商用的数据集，推动了开放生态的构建。多模态数据集如LLaVA的视觉-语言对齐数据，则拓展了LLM在图文理解等复杂任务上的边界。这些研究不仅回应了数据驱动的AI伦理与可重复性需求，也为未来更安全、更具适应性的智能系统铺平了道路。