eduagarcia-temp/cc100_meta

数据集cc100_meta包含文本数据及其元数据，具体包括文本内容、唯一标识符以及用于去重的元数据结构，如精确哈希和最小哈希等。数据集分为训练集，总大小约为55TB，包含近3900万条记录。

原始信息汇总

数据集概述

数据集信息

特征

• id: 数据类型为 int64
• text: 数据类型为 string
• meta: 结构化数据，包含以下子结构：
  • dedup: 包含以下子结构：
    • exact_norm: 包含以下字段：
      • cluster_main_idx: 数据类型为 int64
      • cluster_size: 数据类型为 int64
      • exact_hash_idx: 数据类型为 int64
      • is_duplicate: 数据类型为 bool
    • minhash: 包含以下字段：
      • cluster_main_idx: 数据类型为 int64
      • cluster_size: 数据类型为 int64
      • is_duplicate: 数据类型为 bool
      • minhash_idx: 数据类型为 int64

数据分割

• train: 包含 38999388 个样本，总字节数为 55033381569 字节

数据集大小

• 下载大小: 35074345417 字节
• 数据集大小: 55033381569 字节