HPLT2.0_cleaned

HPLT Datasets v2.0 清理版提供了一个大规模的多语言网络抓取文本集合，涵盖191种世界语言的文本内容。该数据集规模庞大，总计约3千亿个文本片段、5.56万亿个单词、3.74万亿个字符和106亿个文档。数据主要通过网络爬取自Internet Archive和Common Crawl，并经过HPLT项目进行清理和半自动化转换为Parquet格式，不包含特定的标注信息。它主要适用于语言建模、文本生成、完形填空等大型语言模型训练任务，并采用CC0-1.0授权许可。该数据集在多语言大型语言模型训练中表现出色，与FineWeb-2和CulturaX等数据集互补，尤其在阿拉伯语、印地语、俄语、泰语和土耳其语等语言上性能优异。