Common Crawl
收藏aws亚马逊开源数据集2024-03-07 收录
下载链接：
https://registry.opendata.aws/commoncrawl
下载链接
链接失效反馈官方服务：
资源简介：
A corpus of web crawl data composed of over 300 billion web pages.
提供机构：
Common Crawl
搜集汇总
数据集介绍
背景与挑战
背景概述
Common Crawl是一个包含超过3000亿网页的大规模网络爬取语料库，每月更新一次，适用于自然语言处理和网络存档研究。数据集遵循开放许可，并提供了丰富的应用案例和研究资源。
以上内容由遇见数据集搜集并总结生成
