Common Crawl
收藏OpenXLab2026-04-18 收录
下载链接：
https://openxlab.org.cn/datasets/OpenDataLab/Common_Crawl
下载链接
链接失效反馈官方服务：
资源简介：
Common Crawl 语料库包含在 12 年的网络爬取过程中收集的 PB 级数据。语料库包含原始网页数据、元数据提取和文本提取。 Common Crawl 数据存储在 Amazon Web Services 的公共数据集和全球多个学术云平台上。
提供机构：
OpenDataLab
创建时间：
2022-08-16
