psyche/common_crawl
收藏Hugging Face2023-09-15 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/psyche/common_crawl
下载链接
链接失效反馈官方服务：
资源简介：
该数据集适用于流模式，原始数据集链接为https://data.commoncrawl.org/crawl-data/CC-MAIN-2022-27/warc.paths.gz。使用该数据集需要依赖selectolax和warcio库。可以通过datasets库加载该数据集，示例代码已提供。
提供机构：
psyche
原始信息汇总
数据集概述
数据集名称
- 数据集名称：psyche/common_crawl
数据集版本
- 版本标识："1"
数据集加载方式
- 加载方式：流式加载（streaming=True）
数据集来源
- 原始数据链接：https://data.commoncrawl.org/crawl-data/CC-MAIN-2022-27/warc.paths.gz
数据集许可证
- 许可证：Apache-2.0
数据集依赖
- 依赖工具：selectolax, warcio
