konwoo/dclm-train-1.64m-shuffled

---
dataset_info:
features:
- name: bff_contained_ngram_count_before_dedupe
dtype: int64
- name: language_id_whole_page_fasttext
struct:
- name: en
dtype: float64
- name: metadata
struct:
- name: Content-Length
dtype: string
- name: Content-Type
dtype: string
- name: WARC-Block-Digest
dtype: string
- name: WARC-Concurrent-To
dtype: string
- name: WARC-Date
dtype: timestamp[s]
- name: WARC-IP-Address
dtype: string
- name: WARC-Identified-Payload-Type
dtype: string
- name: WARC-Payload-Digest
dtype: string
- name: WARC-Record-ID
dtype: string
- name: WARC-Target-URI
dtype: string
- name: WARC-Type
dtype: string
- name: WARC-Warcinfo-ID
dtype: string
- name: WARC-Truncated
dtype: string
- name: previous_word_count
dtype: int64
- name: text
dtype: string
- name: url
dtype: string
- name: warcinfo
dtype: string
- name: fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train_prob
dtype: float64
splits:
- name: train
num_bytes: 10815233281
num_examples: 1640000
download_size: 6190907888
dataset_size: 10815233281
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：bff_contained_ngram_count_before_dedupe（去重前包含的n元语法(n-gram)数量），数据类型：64位整数类型
- 名称：language_id_whole_page_fasttext（基于FastText的整页语言标识），结构：
- 名称：en（英语），数据类型：64位浮点数类型
- 名称：metadata（元数据），结构：
- 名称：Content-Length（内容长度），数据类型：字符串
- 名称：Content-Type（内容类型），数据类型：字符串
- 名称：WARC-Block-Digest（WARC块摘要），数据类型：字符串
- 名称：WARC-Concurrent-To（WARC并发关联项），数据类型：字符串
- 名称：WARC-Date（WARC日期），数据类型：秒级时间戳类型
- 名称：WARC-IP-Address（WARC IP地址），数据类型：字符串
- 名称：WARC-Identified-Payload-Type（WARC识别的负载类型），数据类型：字符串
- 名称：WARC-Payload-Digest（WARC负载摘要），数据类型：字符串
- 名称：WARC-Record-ID（WARC记录标识符），数据类型：字符串
- 名称：WARC-Target-URI（WARC目标统一资源标识符），数据类型：字符串
- 名称：WARC-Type（WARC记录类型），数据类型：字符串
- 名称：WARC-Warcinfo-ID（WARC信息记录标识符），数据类型：字符串
- 名称：WARC-Truncated（WARC截断状态），数据类型：字符串
- 名称：previous_word_count（前置单词计数），数据类型：64位整数类型
- 名称：text（文本），数据类型：字符串
- 名称：url（统一资源标识符URL），数据类型：字符串
- 名称：warcinfo（WARC信息），数据类型：字符串
- 名称：fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train_prob（FastText模型下OpenHermes、Reddit ELI5与RW v2二元语法20万训练集的概率值），数据类型：64位浮点数类型
数据集划分：
- 名称：训练集（train），占用字节数：10815233281，样本总量：1640000
下载大小：6190907888
数据集总大小：10815233281
数据集配置：
- 配置名称：默认配置（default），数据文件：
- 划分：训练集（train），文件路径：data/train-*