ohtaman/oscar_ja_clean_filtered

该数据集是基于oscar数据集进行基本清理，并使用tatoeba和青空文库（新字新仮名的儿童作品）训练的kenlm模型进行过滤的。数据集包含多个字段，如id、text、meta等，其中meta字段包含warc_headers、identification、harmful_pp、tlsh、quality_warnings、categories和sentence_identifications等子字段。数据集分为train和test两个部分，分别包含4745089和1000个样本。

原始信息汇总

数据集概述

数据集特征

• id: 数据类型为 int64
• text: 数据类型为 string
• meta: 结构化数据，包含以下字段：
  • warc_headers: 结构化数据，包含以下字段：
    • warc-record-id: 数据类型为 string
    • warc-date: 数据类型为 string
    • content-type: 数据类型为 string
    • content-length: 数据类型为 int32
    • warc-type: 数据类型为 string
    • warc-identified-content-language: 数据类型为 string
    • warc-refers-to: 数据类型为 string
    • warc-target-uri: 数据类型为 string
    • warc-block-digest: 数据类型为 string
  • identification: 结构化数据，包含以下字段：
    • label: 数据类型为 string
    • prob: 数据类型为 float32
  • harmful_pp: 数据类型为 float32
  • tlsh: 数据类型为 string
  • quality_warnings: 数据类型为 sequence 的 string
  • categories: 数据类型为 sequence 的 string
  • sentence_identifications: 列表数据，包含以下字段：
    • label: 数据类型为 string
    • prob: 数据类型为 float32
• kenlm_tatoeba: 数据类型为 float64
• kenlm_aozora_kids: 数据类型为 float64

数据集分割

• train: 包含 4,745,089 条数据，总字节数为 10,439,287,668.360512
• test: 包含 1,000 条数据，总字节数为 2,200,019.3607244273

数据集大小

• 下载大小: 7,113,941,574 字节
• 数据集大小: 10,441,487,687.721235 字节

配置

• default: 包含以下数据文件：
  • train: 路径为 data/train-*
  • test: 路径为 data/test-*