allenai/dolma

Dolma是一个包含3万亿个token的数据集，涵盖了网页内容、学术出版物、代码、书籍和百科全书材料等多种来源。数据集的最新版本是v1.7，用于训练OLMo 7B-v1.7模型。该数据集通过Dolma管道进行提取，并进行了新的质量过滤和去重步骤。

Dolma is a dataset containing 3 trillion tokens, covering diverse sources including web content, academic publications, code, books, and encyclopedia materials. The latest version of this dataset is v1.7, which is utilized for training the OLMo 7B-v1.7 model. This dataset is extracted through the Dolma pipeline and has undergone novel quality filtering and deduplication steps.

原始信息汇总

数据集概述

数据集名称

• 名称: Dolma

数据集描述

• 描述: Dolma是一个包含3万亿tokens的数据集，内容来源于多样化的网络内容、学术出版物、代码、书籍和百科全书材料。

数据集版本

• 当前版本: 6个版本
  • v1_7: 默认版本，2024-04-15发布，4.5 TB，用于训练OLMo-7B-v1.7模型。新增来源，增强质量过滤和模糊去重。
  • v1_6: 2024-01-31发布，5.4 TB，对v1.5的更新，进行文档去重。
  • v1_6-sample: 2024-01-31发布，16.4 GB，约100亿tokens的小样本，用于数据探索。
  • v1_5: 2023-10-31发布，6.4 TB，用于训练OLMo-1B模型，约3万亿tokens。
  • v1_5-sample: 2023-10-31发布，2.9 TB，约1.9万亿tokens的样本，用于训练OLMo-7B模型。
  • v1: 2023-08-18发布，6.0 TB，Dolma的首个版本。

数据集来源和处理

• 来源: 包括Common Crawl、Refined Web、StarCoder、C4、Reddit、Semantic Scholar、arXiv、StackExchange、Flan、CC News、OpenWebMath、Algebraic Stack、Project Gutenberg、MegaWika、Wikipedia & Wikibooks等。
• 处理: 使用Dolma管道进行提取和过滤，包括新的质量过滤和去重步骤。

数据集统计

• v1.7统计: 总计2532.0百万文档，2308.5亿OLMo tokens，实际用于训练的tokens为1.715万亿。
• v1.6统计: 总计4367百万文档，3059亿Llama tokens。

许可证

• 许可证: ODC-BY

下载信息

• 下载方式: 建议使用wget并行模式下载，通过克隆仓库并使用url目录中的文件。

引用信息

• Bibtex引用: 若使用此数据集或工具，请引用相关文献。

AI搜集汇总

数据集介绍

构建方式

Dolma数据集的构建，是从互联网的多样化内容中收集了3万亿个标记，涵盖了网页、学术论文、代码、书籍以及百科全书材料等。通过使用特定的管道进行提取，并引入了新的质量过滤和模糊去重步骤，确保了数据集的高质量和多样性。

特点

Dolma数据集的特点在于其庞大的规模和内容的多样性。它不仅包含了互联网上的常见网页内容，还整合了学术出版物、编程代码和书籍等珍贵资源。此外，数据集采用了ODC-BY许可，保证了数据的开放性和可访问性，同时也注重了个人隐私保护，提供了删除个人数据的形式。

使用方法

使用Dolma数据集，用户可以通过克隆其GitHub仓库并使用其中的文件来进行下载。通过wget命令的并行下载模式可以加速下载过程。下载后，可以利用HuggingFace的datasets库来加载和操作数据集，从而方便地进行语言模型的预训练研究。

背景与挑战

背景概述

Dolma数据集，由Allen Institute for AI构建，是一个包含3万亿个标记的语料库，汇集了来自网络内容、学术出版物、代码、书籍和百科全书材料等多种来源的丰富多样性数据。该数据集的创建旨在为语言模型预训练研究提供开放的大规模语料资源。自2023年8月首次发布以来，Dolma经历了多次更新，不断完善其数据质量和多样性。该数据集的研究背景根植于自然语言处理领域，特别是语言模型预训练的发展需求，对相关领域产生了重要影响。

当前挑战

在构建Dolma数据集的过程中，研究人员面临了多方面的挑战。首先，确保数据来源的多样性和质量是一个关键挑战，涉及对海量数据的清洗、过滤和去重。其次，数据集的规模巨大，给存储、处理和分发带来了技术上的挑战。此外，数据集的合法使用和隐私保护也是构建过程中必须考虑的重要因素。在研究领域问题上，Dolma数据集旨在提高语言模型的泛化能力，但如何准确评估和优化模型性能仍然是一个持续的挑战。

常用场景

经典使用场景

在自然语言处理领域，Dolma数据集的3万亿个标记覆盖了多样化的网络内容、学术出版物、代码、书籍和百科全书材料，成为大规模语言模型预训练的基石。其经典的使用场景主要集中于训练和评估大规模语言模型，如OLMo系列模型，通过对该数据集的学习，模型能够掌握语言的结构和用法，实现高质量的文本生成。

衍生相关工作

基于Dolma数据集，研究者们开展了一系列相关工作，包括开发新的语言模型架构、探索模型在不同任务中的表现，以及研究数据集对模型偏见和伦理问题的影响。这些工作不仅推动了自然语言处理领域的发展，也为相关政策的制定提供了科学依据。

数据集最近研究

最新研究方向

Dolma数据集作为包含30万亿个token的多样化网络内容集合，为自然语言处理领域的研究提供了丰富的资源。近期，该数据集在语言模型预训练研究中占据重要地位，特别是在AllenAI的OLMo模型系列中得到应用。最新研究方向集中在如何通过高质量的数据筛选和去重技术，提高模型训练的效率和效果。例如，Dolma v1.7版本的发布，不仅引入了新的数据源，还采用了更精细的质量过滤和模糊去重步骤，这对于训练如OLMo 7B-v1.7等先进模型至关重要。此外，Dolma数据集的开放使用ODC-BY协议，为学术界的开放合作提供了良好的基础，推动了语言模型研究的开放共享趋势。