datablations/oscar-dedup-expanded

该数据集包含了多个字段，如id、文本内容、元数据、困惑度分数、文本长度、URL、域名、重复比例、配对、重复、是否包含在去重中、聚类和是否有25%重复等。数据集的训练集部分包含431,992,659个样本，总大小为3,188,540,880,787字节。数据集使用了25%的后缀数组进行去重，移除了与选定25%块重叠至少100个字符的文档，最终保留了1.36亿个文档，占原始数据集的31%。

This dataset encompasses multiple fields, including id, text content, metadata, perplexity score, text length, URL, domain name, duplication ratio, pairing, duplicate status, inclusion in deduplication, clustering information, and 25% duplication status, among others. The training split of this dataset comprises 431,992,659 samples, with an overall size of 3,188,540,880,787 bytes. For deduplication, this dataset utilized a 25% suffix array, removing any documents that overlapped with the selected 25% chunks by a minimum of 100 characters. Ultimately, 136 million documents were retained, accounting for 31% of the original dataset.

原始信息汇总

数据集概述

数据集特征

• id: 整数类型 (int64)
• text: 字符串类型 (string)
• meta: 结构体类型，包含以下子特征:
  • warc_headers: 结构体类型，包含以下子特征:
    • warc-record-id: 字符串类型 (string)
    • warc-date: 字符串类型 (string)
    • content-type: 字符串类型 (string)
    • content-length: 整数类型 (int32)
    • warc-type: 字符串类型 (string)
    • warc-identified-content-language: 字符串类型 (string)
    • warc-refers-to: 字符串类型 (string)
    • warc-target-uri: 字符串类型 (string)
    • warc-block-digest: 字符串类型 (string)
  • identification: 结构体类型，包含以下子特征:
    • label: 字符串类型 (string)
    • prob: 浮点数类型 (float32)
  • annotations: 字符串序列类型
  • line_identifications: 列表类型，包含以下子特征:
    • label: 字符串类型 (string)
    • prob: 浮点数类型 (float32)
• perplexity_score: 浮点数类型 (float64)
• text_length: 整数类型 (int64)
• url: 字符串类型 (string)
• domain: 字符串类型 (string)
• dup_ratio: 浮点数类型 (float64)
• pairs: 整数序列序列类型
• repetitions: 二进制序列类型
• included_in_dedup: 布尔类型 (bool)
• cluster: 整数序列类型
• has_dup_25: 布尔类型 (bool)

数据集分割

• train:
  • 字节数: 3188540880787
  • 示例数: 431992659

数据集大小

• 下载大小: 1732364041898
• 数据集大小: 3188540880787