LHF/escorpius-m

esCorpius Multilingual是一个多语言爬取语料库，来源于近1 Pb的Common Crawl数据。它是某些语言中规模最大且质量最高的语料库，涵盖了网页文本内容的提取、净化和去重。数据整理过程包括一个新颖的高度并行清洗管道和一系列去重机制，确保文档和段落边界的完整性。此外，数据集保留了源网页URL和WARC分片源URL，以符合欧盟法规。esCorpius-m采用CC BY-NC-ND 4.0许可证发布。esCorpius Multilingual is a multilingual crawled corpus derived from nearly 1 Petabyte of Common Crawl data. It ranks among the largest and highest-quality corpora for specific languages, covering the extraction, purification, and deduplication of web text content. The data curation process incorporates a novel highly parallel cleaning pipeline and a set of deduplication mechanisms to ensure the integrity of document and paragraph boundaries. Additionally, the dataset retains both the source web page URLs and the WARC shard source URLs to comply with EU regulations. esCorpius-m is released under the CC BY-NC-ND 4.0 license.

原始信息汇总

esCorpius Multilingual 数据集概述

基本信息

• 许可证: CC BY-NC-ND 4.0
• 语言多样性: 支持多种语言，包括但不限于 af, ar, bn, ca, cs, da, de, el, eu, fa, fi, fr, gl, hi, hr, it, ja, ko, mt, nl, no, oc, pa, pl, pt, ro, sl, sr, sv, tr, uk, ur
• 多语言性: 多语言
• 数据集大小: 100B<n<1T
• 数据来源: 原始数据

任务类型

• 任务类别:
  • 文本生成
  • 填充掩码
• 任务ID:
  • 语言建模
  • 掩码语言建模

数据集描述

esCorpius-m 是一个从近1 Pb的Common Crawl数据中提取的多语言爬虫语料库。它是某些覆盖语言中最广泛的语料库，具有高水平的提取、净化和去重质量。数据采集过程包括一个新颖的高并行清洗管道和一系列去重机制，确保文档和段落边界的完整性。同时，保留了源网页URL和WARC分片原始URL以符合欧盟法规。

使用示例

python dataset = load_dataset(LHF/escorpius-m, split=train, streaming=True, revision=it)

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，基于Transformer的模型虽取得显著进展，却面临非英语语料匮乏的困境。现有网络爬取多语言数据集常因规模不足或清洗去重不完善而质量欠佳。为此，esCorpius-m应运而生，它从近1PB的Common Crawl数据中构建而成。其数据构建流程采用新颖的高度并行清洗管道，并集成一系列去重机制，确保文档与段落边界的完整性，同时保留源网页URL及WARC分片来源URL以符合欧盟法规，最终以CC BY-NC-ND 4.0许可发布。

特点

该数据集的核心特色在于其卓越的规模与质量平衡。作为部分语种中目前最广泛的语料库，esCorpius-m覆盖33种语言，语料总量介于100B至1T词元之间。其独创的并行清洗与多层次去重策略，有效规避了传统方法中内容碎片化问题，保障了文本的连贯性与纯净度。此外，数据来源的透明化设计不仅满足合规要求，也为用户提供了可追溯的参考依据，凸显了其在多语言预训练场景中的独特优势。

使用方法

使用esCorpius-m时，可通过HuggingFace的datasets库便捷加载。用户需指定语言代码作为revision参数，例如选择意大利语时传入'it'。支持流式模式（streaming=True）以应对大规模数据，适用于文本生成与掩码语言建模等任务。数据集按语言划分，确保用户能精准获取目标语料。需注意，数据集未经内置过滤或审查，用户应依据自身需求实施额外的内容处理策略，且使用过程中需遵守CC BY-NC-ND许可条款。

背景与挑战

背景概述

近年来，基于Transformer的模型在自然语言处理的语言建模领域取得了突破性进展，但其成功高度依赖于海量高质量的训练数据。然而，现有语料库资源严重偏向英语，其他语言的可用数据集往往规模有限或质量欠佳。为解决这一困境，研究团队于2022年由Asier Gutiérrez-Fandiño等人主导，依托IberSPEECH会议发布了esCorpius-m多语言语料库。该数据集从近1拍字节的Common Crawl数据中提取，覆盖33种语言，通过创新的高度并行清洗流程和多重去重机制，确保了文档与段落边界的完整性。作为当前部分语言中规模最大且质量最优的语料库，esCorpius-m不仅推动了多语言语言模型的发展，还通过保留源网页URL和WARC分片来源，符合欧盟数据法规，彰显了其严谨的学术与合规价值。

当前挑战

esCorpius-m所面临的挑战首先体现在多语言语料构建的领域难题上：非英语语言的网络文本质量参差不齐，自动爬取易混入噪声、重复内容及低质量片段，导致模型预训练效果不佳。为此，研究团队需设计高效的清洗与去重流程，以平衡语料规模与纯净度。其次，构建过程中遭遇了技术性挑战：从近1拍字节的Common Crawl数据中提取并处理多语言内容，需应对计算资源的高消耗与并行处理的复杂性；同时，确保不同语言文档边界在去重后不被破坏，并兼顾欧盟法规对数据溯源的要求，进一步增加了数据治理的难度。这些挑战共同考验了语料库的鲁棒性与实用性。

常用场景

经典使用场景

在自然语言处理领域，多语言预训练语言模型的构建高度依赖于大规模、高质量且均衡的语料库。esCorpius-m数据集应运而生，作为从近1PB的Common Crawl数据中精心提取并经过严格清洗与去重处理的多语言网络爬取语料，其经典使用场景在于为那些资源匮乏的非英语语言提供充足的训练素材。研究者可借助该数据集对Transformer架构的模型进行语言建模或掩码语言建模的预训练，从而显著提升模型在目标语言上的表征能力与泛化性能。

解决学术问题

esCorpius-m数据集旨在解决长期以来多语言语料库存在的规模不足与质量参差不齐的学术难题。此前，面向非英语语言的语料往往因来源单一、清洗不彻底或去重不当而影响模型训练效果。该数据集通过创新的高度并行清洗流程与多层级去重机制，确保了文档与段落边界的完整性，从而为跨语言迁移学习、低资源语言建模以及多语言语义理解等研究方向提供了可靠的数据基础，推动了语言模型在多语言场景下的公平性与鲁棒性研究。

衍生相关工作

esCorpius-m数据集的发布催生了一系列相关研究工作。其原始西班牙语版本esCorpius已作为基准语料用于IberSPEECH 2022会议中的语言建模研究，并衍生出针对清洗与去重流程优化的方法论探讨。此外，基于该数据集的非去重原始版本esCorpius-mr被用于对比分析去重操作对模型性能的影响，进一步推动了语料预处理技术的演进。这些工作共同丰富了多语言语料构建与评估的理论体系，为后续大规模语言模型的训练奠定了实证基础。