bertin-project/mc4-sampling

mC4-sampling数据集是一个多语言的巨型清洗版Common Crawl网络爬虫语料库，专为文本生成和填充掩码任务设计。该数据集支持108种语言，并提供了随机、高斯和逐步等多种基于困惑度的数据过滤和采样方法。它适用于预算有限的语言模型预训练，并根据ODC-BY许可发布。

The mC4-sampling dataset is a multilingual, large-scale cleaned Common Crawl web crawl corpus, specifically designed for text generation and mask-filling tasks. It supports 108 languages, and offers a variety of perplexity-based data filtering and sampling methods including random, Gaussian-based, and stepwise sampling. This dataset is suitable for pre-training language models with limited budgets, and is released under the ODC-BY license.

原始信息汇总

数据集概述

数据集名称

• 名称: mC4-sampling
• 别名: mC4

数据集描述

• 概述: 该数据集基于AllenAI版本的原始mC4，并增加了采样方法以实时进行困惑度过滤。
• 原始数据集: mC4，多语言巨型清洗版Common Crawl网络爬虫语料库。
• 语言: 支持108种语言。

数据集结构

• 数据实例: 包含url、text和timestamp字段。
• 数据字段:
  • url: 源URL，字符串类型。
  • text: 文本内容，字符串类型。
  • timestamp: 时间戳，字符串类型。

采样方法

• 随机采样: 基于概率阈值factor进行文档保留。
• 高斯采样: 根据困惑度分布对文档进行采样，参数包括factor和width。
• 步进采样: 根据困惑度分布的中心四分位数进行反比采样。

支持的任务

• 主要任务: 预训练语言模型和词表示。

许可证

• 许可证类型: ODC-BY

引用信息

• 引用格式: bibtex @article{BERTIN, author = {Javier De la Rosa y Eduardo G. Ponferrada y Manu Romero y Paulo Villegas y Pablo González de Prado Salas y María Grandury}, title = {{BERTIN}: Efficient Pre-Training of a Spanish Language Model using Perplexity Sampling}, journal = {Procesamiento del Lenguaje Natural}, volume = {68}, number = {0}, year = {2022}, keywords = {}, abstract = {The pre-training of large language models usually requires massive amounts of resources, both in terms of computation and data. Frequently used web sources such as Common Crawl might contain enough noise to make this pretraining sub-optimal. In this work, we experiment with different sampling methods from the Spanish version of mC4, and present a novel data-centric technique which we name perplexity sampling that enables the pre-training of language models in roughly half the amount of steps and using one fifth of the data. The resulting models are comparable to the current state-of-the-art, and even achieve better results for certain tasks. Our work is proof of the versatility of Transformers, and paves the way for small teams to train their models on a limited budget.}, issn = {1989-7553}, url = {http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/6403}, pages = {13--23} }

贡献者

• 主要贡献者: @versae
• 原始mC4数据集贡献者: @dirkgr 和 @lhoestq

搜集汇总

数据集介绍

构建方式

mC4-sampling数据集基于AllenAI发布的原始mC4语料库构建，mC4本身是对Common Crawl网络爬取数据进行多语言清洗后的巨量文本集合，涵盖108种语言。该数据集的核心创新在于引入了三种动态采样方法，以实现在数据加载过程中基于困惑度（Perplexity）的实时过滤。随机采样通过预设的概率阈值决定文档保留与否；高斯采样则利用KenLM语言模型计算文档困惑度，并依据其与中位数的偏离程度赋予权重，从而在保留整体分布特征的同时，对困惑度分布的中央四分位区间进行过采样；阶梯采样则根据文档所属困惑度四分位区间的范围，以反比例方式设定保留概率，实现对中央区间的定向增强。这些方法均通过HuggingFace Datasets库的流式加载接口集成，用户无需预先过滤整个数据集，即可按需获得特定分布的文本子集。

使用方法

使用该数据集主要通过HuggingFace Datasets库的load_dataset函数进行，用户需指定语言代码（如'en'）和采样方法参数。对于随机采样，仅需设置sampling_method='random'及因子factor；高斯和阶梯采样则需额外提供预训练的KenLM语言模型文件路径（如'es.arpa.bin'）和预先计算的困惑度四分位边界值。例如，加载西班牙语的高斯采样版本可调用load_dataset('bertin-project/mc4-sampling', 'es', sampling_method='gaussian', perplexity_model='./es.arpa.bin', boundaries=[...])。数据集支持流式模式（streaming=True），适用于大规模迭代训练。用户还可通过指定languages参数一次性加载多个语言的子集，极大便利了多语言模型的开发。

背景与挑战

背景概述

大规模语言模型的预训练通常依赖海量且多样化的文本数据，其中Common Crawl等网络语料库因其规模庞大而被广泛采用。然而，这些未经过滤的原始数据常包含大量噪声与低质量内容，可能损害模型的学习效率与最终性能。在此背景下，BERTIN项目团队（由Javier De la Rosa、Eduardo G. Ponferrada、Manu Romero等研究人员组成）于2022年提出了mC4-sampling数据集，旨在探索基于困惑度的采样方法，以优化多语言mC4语料库的质量。该数据集建立在AllenAI发布的mC4之上，支持108种语言，并引入随机采样、高斯采样和逐步采样三种策略，允许在预训练过程中动态过滤低质量文档。其核心研究问题在于如何通过数据筛选降低训练成本，同时保持或提升模型性能。这一工作为资源受限的研究团队提供了高效预训练语言模型的新路径，并在西班牙语模型BERTIN的构建中验证了其有效性，对自然语言处理领域的数据增强与资源优化产生了重要影响。

当前挑战

mC4-sampling数据集面临的核心挑战首先在于多语言语料库的质量控制问题：Common Crawl来源的文本分布极不均匀，低资源语言（如斯瓦希里语、约鲁巴语）的文档质量参差不齐，而高资源语言（如英语、西班牙语）中亦存在大量重复或无关内容，这要求采样方法能精准识别并保留高价值文本。其次，构建过程中需处理技术复杂性，例如困惑度计算依赖KenLM语言模型，但此类模型在部分语言上不可用或精度不足，导致采样效果受限。此外，不同采样策略（如高斯采样中的峰值因子与宽度参数）需针对每种语言细致调优，而边界值的预计算又依赖于完整语料库的统计分析，这显著增加了数据预处理的计算开销。最后，流式处理模式虽减少了内存占用，却对采样算法的实时性与随机性提出了更高要求，需在效率与过滤效果间取得平衡。

常用场景

经典使用场景

mC4-sampling数据集的核心经典用途在于为多语言预训练语言模型提供高效的数据筛选与采样策略。该数据集基于原始的mC4多语言网络语料库，通过集成随机采样、高斯采样和阶梯采样三种方法，实现了基于困惑度的动态过滤机制。研究者可依据目标语言的数据分布特征，灵活选择采样策略，从而在有限的计算资源下构建高质量、低噪声的训练语料。例如，高斯采样通过拟合困惑度的中心四分位数分布，能够保留语义更连贯的文档，显著提升语言模型在文本生成与掩码填充任务中的表现。这种数据驱动的采样范式，为多语言模型的高效预训练奠定了坚实基础。

解决学术问题

该数据集有效解决了大规模网络语料中噪声冗余与数据质量难以控制的学术难题。传统预训练方法常因Common Crawl等来源的文本质量参差不齐，导致模型训练效率低下且性能受损。mC4-sampling通过引入基于困惑度的采样方法，能够在保持语料多样性的前提下，自动过滤低质量或异常文本，从而将预训练所需的步骤减少约50%，数据量缩减至原来的五分之一。这一突破性成果不仅验证了数据质量对模型泛化能力的关键影响，还为资源受限的研究团队提供了可复现的轻量化预训练范式，推动了低资源语言模型研究的发展。

实际应用

在实际应用中，mC4-sampling被广泛用于多语言自然语言处理系统的快速原型开发与部署。例如，企业可借助该数据集为西班牙语、中文等特定语言定制轻量级语言模型，用于智能客服、文本分类或机器翻译等场景。其灵活的采样接口支持流式加载，使得大规模语料的实时处理成为可能。此外，通过结合Facebook提供的预训练KenLM模型，开发者无需从头训练语言模型即可直接计算文档困惑度，大幅降低了技术门槛。这种高效的数据筛选机制，使得中小团队也能在预算有限的情况下，构建出媲美顶尖水平的领域专用语言模型。

数据集最近研究

最新研究方向

基于困惑度采样的多语言预训练数据优化是当前自然语言处理领域的前沿方向。该数据集通过引入随机、高斯和阶梯式三种采样策略，实现了对mC4语料库的按需过滤，显著降低了预训练语言模型的计算成本与数据需求。这一创新方法呼应了近年来大语言模型训练中数据质量与效率并重的热点趋势，尤其为资源受限的研究团队提供了可行的低成本预训练方案。相关研究表明，困惑度采样能够在保持模型性能的前提下，将训练步数压缩近半、数据用量缩减至五分之一，推动了多语言模型在低资源场景下的实用化进程，对促进语言技术的民主化与可持续发展具有深远意义。