konwoo/dclm-train-164k-shuffled
收藏Hugging Face2025-12-13 更新2025-12-20 收录
下载链接：
https://hf-mirror.com/datasets/konwoo/dclm-train-164k-shuffled
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: bff_contained_ngram_count_before_dedupe
dtype: int64
- name: language_id_whole_page_fasttext
struct:
- name: en
dtype: float64
- name: metadata
struct:
- name: Content-Length
dtype: string
- name: Content-Type
dtype: string
- name: WARC-Block-Digest
dtype: string
- name: WARC-Concurrent-To
dtype: string
- name: WARC-Date
dtype: timestamp[s]
- name: WARC-IP-Address
dtype: string
- name: WARC-Identified-Payload-Type
dtype: string
- name: WARC-Payload-Digest
dtype: string
- name: WARC-Record-ID
dtype: string
- name: WARC-Target-URI
dtype: string
- name: WARC-Truncated
dtype: string
- name: WARC-Type
dtype: string
- name: WARC-Warcinfo-ID
dtype: string
- name: previous_word_count
dtype: int64
- name: text
dtype: string
- name: url
dtype: string
- name: warcinfo
dtype: string
- name: fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train_prob
dtype: float64
splits:
- name: train
num_bytes: 1085869443
num_examples: 164000
download_size: 628701563
dataset_size: 1085869443
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
数据集信息：
特征字段：
1. 名称为「去重前包含的n元语法（n-gram）计数（bff_contained_ngram_count_before_dedupe）」，数据类型为int64；
2. 名称为「基于fasttext的整页语言标识（language_id_whole_page_fasttext）」，为结构体类型，包含子字段：名称为`en`，数据类型为float64；
3. 名称为「元数据（metadata）」，为结构体类型，包含子字段：
- 内容长度（Content-Length）：字符串类型；
- 内容类型（Content-Type）：字符串类型；
- WARC块摘要（WARC-Block-Digest）：字符串类型；
- 并发WARC记录（WARC-Concurrent-To）：字符串类型；
- WARC记录日期（WARC-Date）：秒级时间戳类型；
- WARC IP地址（WARC-IP-Address）：字符串类型；
- 识别的有效载荷类型（WARC-Identified-Payload-Type）：字符串类型；
- 有效载荷摘要（WARC-Payload-Digest）：字符串类型；
- WARC记录标识（WARC-Record-ID）：字符串类型；
- WARC目标URI（WARC-Target-URI）：字符串类型；
- WARC截断状态（WARC-Truncated）：字符串类型；
- WARC记录类型（WARC-Type）：字符串类型；
- WARC信息标识（WARC-Warcinfo-ID）：字符串类型；
4. 名称为「前序单词计数（previous_word_count）」，数据类型为int64；
5. 名称为「文本内容（text）」，数据类型为字符串类型；
6. 名称为「统一资源定位符（url）」，数据类型为字符串类型；
7. 名称为「WARC信息（warcinfo）」，数据类型为字符串类型；
8. 名称为「fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k训练概率（fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train_prob）」，数据类型为float64；
划分集：
包含1个划分集，名称为`train`（训练集），总字节数为1085869443，样本总量为164000；
全局参数：下载大小为628701563，数据集总大小为1085869443；
配置项：
包含1个配置项，配置名称为`default`（默认配置），对应的数据文件为：针对训练集划分，路径为`data/train-*`。
提供机构：
konwoo
