MADLAD-400
收藏OpenXLab2026-04-18 收录
下载链接：
https://openxlab.org.cn/datasets/OpenDataLab/MADLAD-400
下载链接
链接失效反馈官方服务：
资源简介：
MADLAD-400（Multilingual Audited Dataset：Low-resource And Document-level）是基于Common Crawl的文档级多语言数据集，共覆盖419种语言。这使用了截至 2022 年 8 月 1 日可用的 CommonCrawl 的所有快照。与类似数据集相比，该数据集的主要优点是它更加多语言（419 种语言）、经过审核和更严格的过滤，并且是文档级的。主要缺点也是它的优势——过滤程度更高，可能缺乏某些应用程序所需的召回功能。
提供机构：
OpenDataLab
创建时间：
2024-04-30
