MADLAD-400
收藏OpenDataLab2026-05-24 更新2024-05-09 收录
下载链接：
https://opendatalab.org.cn/OpenDataLab/MADLAD-400
下载链接
链接失效反馈官方服务：
资源简介：
MADLAD-400（Multilingual Audited Dataset：Low-resource And Document-level）是基于Common Crawl的文档级多语言数据集，共覆盖419种语言。这使用了截至 2022 年 8 月 1 日可用的 CommonCrawl 的所有快照。与类似数据集相比，该数据集的主要优点是它更加多语言（419 种语言）、经过审核和更严格的过滤，并且是文档级的。主要缺点也是它的优势——过滤程度更高，可能缺乏某些应用程序所需的召回功能。
提供机构：
OpenDataLab
创建时间：
2024-04-30
搜集汇总
数据集介绍
背景与挑战
背景概述
MADLAD-400是一个基于Common Crawl构建的文档级多语言数据集，覆盖了419种语言，并经过审核和高度过滤处理。其主要优势在于多语言支持和文档级结构，但过滤过程可能导致某些应用中的召回率不足。该数据集由Google Research于2023年9月发布。
以上内容由遇见数据集搜集并总结生成
