HPLT/HPLT2.0_cleaned

HPLT Datasets v2.0的cleaned版本是一个包含191种世界语言的大规模网络爬取文档集合，数据主要来源于Internet Archive和Common Crawl。该数据集已转换为Parquet格式，并提供了每种语言的文本量统计，包括段数、单词数、字符数和文档数。

This is a large-scale collection of web-crawled documents in 191 world languages, primarily sourced from the Internet Archive and Common Crawl. The dataset is part of the HPLT project and is available in a cleaned variant, converted to Parquet format. The dataset supports multiple tasks such as fill-mask and text-generation, with a focus on language modeling. The README also includes a table listing the language codes, the amount of text in segments, words, characters, and documents for each language.

搜集汇总

数据集介绍

构建方式

HPLT2.0_cleaned数据集是HPLT项目第二版大规模网络爬取文档语料库的净化版本。其数据源主要源自互联网档案馆（Internet Archive）与通用爬虫（Common Crawl），经过去重、清洗等严格处理流程后，以Parquet格式呈现。该数据集覆盖全球191种语言，每个语言子集均作为一个独立配置（config），通过通配符路径指向对应的训练数据分片文件，结构清晰且易于分语言加载。

特点

作为继HPLT v1.2之后的新一代语料库，HPLT2.0_cleaned在规模上远超万亿级别token，其净化版本相较于原始非净化版在存储效率上进行了优化，尽管本HF版本的磁盘占用约为原始JSONL格式的四倍。项目内部通过FineWeb风格的消融实验，针对英语和挪威语两种高、低资源语言，训练了1.7B参数的自回归语言模型，验证了其在多种自然语言理解基准任务上的卓越性能。

使用方法

该数据集专为掩码填充与文本生成等自回归语言建模任务设计，采用CC0 1.0公共领域许可协议。用户可通过Hugging Face Datasets库，依据各国语言代码（如eng_Latn、zho_Hans）指定配置名称直接加载对应子集。数据集仅包含训练拆分，可直接用于预训练或微调。对于需要最小化存储空间的场景，建议访问HPLT项目官网获取原始JSONL格式文件。

背景与挑战

背景概述

HPLT2.0_cleaned数据集由HPLT项目在2025年3月推出，覆盖191种世界语言，核心研究问题在于利用海量网络爬取文档构建大规模多语言语料库，以推动低资源语言和跨语言自然语言处理研究。该数据集主要源自互联网档案馆与Common Crawl，并经过清洗处理，以Parquet格式发布，研究人员来自HPLT项目团队。其在语言建模和掩码填充任务中具有重要影响，通过FineWeb风格的消融实验（涉及英语和挪威语）验证了数据质量，证明了该数据集在高资源与低资源语言场景下的有效性。

当前挑战

HPLT2.0_cleaned数据集所解决的领域问题主要在于多语言语料库构建中的语言覆盖不平衡与数据质量参差不齐，尤其是低资源语言数据的稀缺与噪声挑战。构建过程中遭遇的挑战包括：从海量网络爬取文档中提取高质量文本，需应对网页噪音、重复内容及多语种混杂问题；清洗流程需设计高效的去重与过滤策略，确保模型训练数据的纯净度；此外，存储格式转换（如从JSONL到Parquet）与大规模数据的管理也为基础设施带来压力。

常用场景

经典使用场景

在自然语言处理领域，HPLT2.0_cleaned数据集因其覆盖191种世界语言的庞大规模和高质量特性，成为训练多语言语言模型的首选基石。研究者通过利用该数据集清洗后的文本语料，能够高效执行掩码填充与文本生成等核心任务。其经典使用方式在于构建从高资源语言（如英语）到低资源语言（如挪威语）的通用预训练模型，通过大规模自监督学习捕获跨语言的句法和语义共性。

实际应用

在实际应用中，HPLT2.0_cleaned支持的预训练语言模型被广泛部署于机器翻译、跨语言信息检索和全球社交媒体内容分析等领域。例如，借助其覆盖的191种语言，企业能够构建面向罕见语种的翻译引擎，实现更广泛的用户覆盖。此外，该数据集还可用于开发多语言文本分类系统，帮助机构自动化处理跨国文档，从而降低人工翻译成本并提升跨文化交流效率。

衍生相关工作

基于HPLT2.0_cleaned，研究者衍生出多个经典工作，包括HPLT v3.0的迭代更新以及针对低资源语言的专门预训练模型。例如，该数据集被用于FineWeb风格消融实验，通过对比1.7B参数解码器模型在英语和挪威语上的表现，验证了数据清洗策略对模型性能的影响。这些研究不仅深化了对多语言数据质量重要性的认知，还催生了更高效的语料过滤和去重算法，为后续大规模语言模型的训练提供了方法论基础。