konwoo/dclm-3m-shuffled

---
dataset_info:
features:
- name: bff_contained_ngram_count_before_dedupe
dtype: int64
- name: language_id_whole_page_fasttext
struct:
- name: en
dtype: float64
- name: metadata
struct:
- name: Content-Length
dtype: string
- name: Content-Type
dtype: string
- name: WARC-Block-Digest
dtype: string
- name: WARC-Concurrent-To
dtype: string
- name: WARC-Date
dtype: timestamp[s]
- name: WARC-IP-Address
dtype: string
- name: WARC-Identified-Payload-Type
dtype: string
- name: WARC-Payload-Digest
dtype: string
- name: WARC-Record-ID
dtype: string
- name: WARC-Target-URI
dtype: string
- name: WARC-Type
dtype: string
- name: WARC-Warcinfo-ID
dtype: string
- name: WARC-Truncated
dtype: string
- name: previous_word_count
dtype: int64
- name: text
dtype: string
- name: url
dtype: string
- name: warcinfo
dtype: string
- name: fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train_prob
dtype: float64
splits:
- name: train
num_bytes: 21635631461
num_examples: 3280000
download_size: 12385111399
dataset_size: 21635631461
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息（dataset_info）：
特征字段：
- 名称：去重前包含的n元语法（ngram）计数（bff_contained_ngram_count_before_dedupe），数据类型：int64
- 名称：基于fasttext的整页语言标识（language_id_whole_page_fasttext），为结构体类型，包含子字段：
- 子字段：英语（en），数据类型：float64
- 名称：元数据（metadata），为结构体类型，包含子字段：
- 内容长度（Content-Length）：字符串类型
- 内容类型（Content-Type）：字符串类型
- WARC块摘要（WARC-Block-Digest）：字符串类型
- WARC并发关联记录（WARC-Concurrent-To）：字符串类型
- WARC记录日期（WARC-Date）：秒级时间戳类型（timestamp[s]）
- WARC IP地址（WARC-IP-Address）：字符串类型
- WARC识别负载类型（WARC-Identified-Payload-Type）：字符串类型
- WARC负载摘要（WARC-Payload-Digest）：字符串类型
- WARC记录ID（WARC-Record-ID）：字符串类型
- WARC目标URI（WARC-Target-URI）：字符串类型
- WARC记录类型（WARC-Type）：字符串类型
- WARC信息记录ID（WARC-Warcinfo-ID）：字符串类型
- WARC截断状态（WARC-Truncated）：字符串类型
- 名称：前置词计数（previous_word_count），数据类型：int64
- 名称：文本（text），数据类型：字符串类型
- 名称：统一资源定位符（url），数据类型：字符串类型
- 名称：WARC信息（warcinfo），数据类型：字符串类型
- 名称：用于区分openhermes、reddit_eli5与rw_v2语料的fasttext双元语法（bigram）20万条训练集分类概率（fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train_prob），数据类型：float64
数据划分：
- 名称：训练集（train），占用字节数：21635631461，样本总数：3280000
下载大小：12385111399 字节
数据集总大小：21635631461 字节
配置项：
- 配置名称：默认配置（default），数据文件：
- 对应训练集划分，路径为 data/train-*