konwoo/dclm-820k-iid

--- dataset_info: features: - name: bff_contained_ngram_count_before_dedupe dtype: int64 - name: language_id_whole_page_fasttext struct: - name: en dtype: float64 - name: metadata struct: - name: Content-Length dtype: string - name: Content-Type dtype: string - name: WARC-Block-Digest dtype: string - name: WARC-Concurrent-To dtype: string - name: WARC-Date dtype: timestamp[s] - name: WARC-IP-Address dtype: string - name: WARC-Payload-Digest dtype: string - name: WARC-Record-ID dtype: string - name: WARC-Target-URI dtype: string - name: WARC-Truncated dtype: string - name: WARC-Type dtype: string - name: WARC-Warcinfo-ID dtype: string - name: WARC-Identified-Payload-Type dtype: string - name: previous_word_count dtype: int64 - name: text dtype: string - name: url dtype: string - name: warcinfo dtype: string - name: fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train_prob dtype: float64 splits: - name: train num_bytes: 5402718171 num_examples: 820000 - name: validation num_bytes: 6567431 num_examples: 1000 download_size: 3096334152 dataset_size: 5409285602 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* ---数据集信息： 特征字段： - 字段名：bff_contained_ngram_count_before_dedupe，数据类型：64位整数（int64） - 字段名：language_id_whole_page_fasttext，为结构体类型，包含英语（en）置信度子字段，数据类型为64位浮点数（float64） - 字段名：metadata，为结构体类型，包含以下子字段： - Content-Length：内容长度，数据类型为字符串 - Content-Type：内容类型，数据类型为字符串 - WARC-Block-Digest：Web归档记录（WARC）块摘要，数据类型为字符串 - WARC-Concurrent-To：WARC关联记录，数据类型为字符串 - WARC-Date：WARC记录日期，数据类型为秒级时间戳（timestamp[s]） - WARC-IP-Address：WARC目标IP地址，数据类型为字符串 - WARC-Payload-Digest：WARC负载摘要，数据类型为字符串 - WARC-Record-ID：WARC记录ID，数据类型为字符串 - WARC-Target-URI：WARC目标统一资源标识符（URI），数据类型为字符串 - WARC-Truncated：WARC截断状态，数据类型为字符串 - WARC-Type：WARC记录类型，数据类型为字符串 - WARC-Warcinfo-ID：WARC信息记录ID，数据类型为字符串 - WARC-Identified-Payload-Type：WARC识别负载类型，数据类型为字符串 - 字段名：previous_word_count：先前单词计数，数据类型为64位整数（int64） - 字段名：text：文本内容，数据类型为字符串 - 字段名：url：统一资源定位符（URL），数据类型为字符串 - 字段名：warcinfo：WARC信息，数据类型为字符串 - 字段名：fasttext_openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train_prob：fasttext模型针对openhermes、reddit eli5与rw_v2二元语法（bigram）20万训练集的概率值，数据类型为64位浮点数（float64） 数据集子集： - 子集名称：训练集（train），总字节数：5402718171，样本量：820000 - 子集名称：验证集（validation），总字节数：6567431，样本量：1000 下载总大小：3096334152，数据集总存储大小：5409285602 配置项： - 配置名称：默认配置（default），数据文件路径对应关系： - 训练集（train）：路径为data/train-* - 验证集（validation）：路径为data/validation-*