olm/olm-CC-MAIN-2022-27-sampling-ratio-0.16142697881
收藏Hugging Face2022-11-04 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/olm/olm-CC-MAIN-2022-27-sampling-ratio-0.16142697881
下载链接
链接失效反馈官方服务：
资源简介：
OLM June/July 2022 Common Crawl数据集是一个经过清理和去重的预训练数据集，来源于2022年6月和7月的Common Crawl快照的16%。该数据集主要用于预训练和语言建模任务，语言为英语，没有人工标注，属于单语言数据集，大小在10M到100M之间。
提供机构：
olm
原始信息汇总
数据集概述
基本信息
- 名称: OLM June/July 2022 Common Crawl
- 语言: 英语（en）
- 多语言性: 单语种
- 许可证: 无明确许可证信息
- 大小: 10M<n<100M
创建与来源
- 语言创建者: 发现（found）
- 来源数据集: 无
- 创建方式: 使用OLM仓库（https://github.com/huggingface/olm-datasets）从2022年6月/7月的Common Crawl快照中提取16%的数据进行清理和去重
用途与标签
- 标签:
- 预训练
- 语言模型
- Common Crawl
- 网络
- 任务类别: 无
- 任务ID: 无
