MADLAD-400
收藏arXiv2025-09-30 收录
下载链接：
https://huggingface.co/datasets/allenai/MADLAD-400
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是一个经过人工审核的大规模多语言语料库，涵盖了419种语言，基于CommonCrawl的数据。在预训练过程中，我们使用了这个语料库的清洁版本，任务是进行语言模型的预训练。
This is a manually curated large-scale multilingual corpus encompassing 419 distinct languages, built upon CommonCrawl data. We utilized the cleaned version of this corpus for language model pre-training.
提供机构：
AllenAI
