olm/olm-CC-MAIN-2022-40-sampling-ratio-0.15894621295

OLM September/October 2022 Common Crawl数据集是一个经过清洗和去重的预训练数据集，来源于2022年9月和10月的Common Crawl快照的16%。该数据集为英语单语种，大小在10M到100M之间。数据集的标签包括pretraining、language modelling、common crawl和web。需要注意的是，`last_modified_timestamp`字段可能存在少量异常值，建议在使用该字段进行统计分析前移除异常值。

原始信息汇总

数据集概述

基本信息

• 名称: OLM September/October 2022 Common Crawl
• 语言: 英语（English）
• 多语言性: 单语（Monolingual）
• 许可证: 未指定
• 大小: 10M<n<100M

数据集特性

• 创建者语言: 发现（Found）
• 注释创建者: 无注释（No-annotation）
• 标签:
  • 预训练（Pretraining）
  • 语言建模（Language Modelling）
  • 常见爬虫（Common Crawl）
  • 网络（Web）

数据来源与处理

• 数据源: 从2022年9月/10月的Common Crawl快照中提取的16%数据
• 处理: 通过OLM仓库（OLM repo）进行清洗和去重处理

注意事项

• 修改时间戳: 使用网站的Last-Modified头信息解析得到，存在少量可能不准确的时间戳，建议在使用last_modified_timestamp进行统计前移除异常值。