Finnish-NLP/oscar_2301_fi_cleaned

---
dataset_info:
features:
- name: id
dtype: int64
- name: text
dtype: string
- name: meta
struct:
- name: warc_headers
struct:
- name: warc-record-id
dtype: string
- name: warc-date
dtype: string
- name: content-type
dtype: string
- name: content-length
dtype: int32
- name: warc-type
dtype: string
- name: warc-identified-content-language
dtype: string
- name: warc-refers-to
dtype: string
- name: warc-target-uri
dtype: string
- name: warc-block-digest
dtype: string
- name: identification
struct:
- name: label
dtype: string
- name: prob
dtype: float32
- name: harmful_pp
dtype: float32
- name: tlsh
dtype: string
- name: quality_warnings
sequence: string
- name: categories
sequence: string
- name: sentence_identifications
list:
- name: label
dtype: string
- name: prob
dtype: float32
- name: perplexity_kenlm
dtype: int64
- name: url
dtype: string
- name: label_identity_attack
dtype: float64
- name: label_insult
dtype: float64
- name: label_obscene
dtype: float64
- name: label_severe_toxicity
dtype: float64
- name: label_threat
dtype: float64
- name: label_toxicity
dtype: float64
splits:
- name: train
num_bytes: 40449678552
num_examples: 5225577
download_size: 2848314172
dataset_size: 40449678552
---
# Dataset Card for "oscar_2301_fi_cleaned"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征字段：
- 名称：id，数据类型：64位整型（int64）
- 名称：text，数据类型：字符串（string）
- 名称：meta（元数据），结构体：
- 名称：warc_headers（Web ARChive头部，WARC头部），结构体：
- 名称：warc-record-id（WARC记录ID），数据类型：字符串（string）
- 名称：warc-date（WARC日期），数据类型：字符串（string）
- 名称：content-type（内容类型），数据类型：字符串（string）
- 名称：content-length（内容长度），数据类型：32位整型（int32）
- 名称：warc-type（WARC类型），数据类型：字符串（string）
- 名称：warc-identified-content-language（WARC识别内容语言），数据类型：字符串（string）
- 名称：warc-refers-to（WARC指向目标），数据类型：字符串（string）
- 名称：warc-target-uri（WARC目标统一资源标识符），数据类型：字符串（string）
- 名称：warc-block-digest（WARC块摘要），数据类型：字符串（string）
- 名称：identification（识别结果），结构体：
- 名称：label（标签），数据类型：字符串（string）
- 名称：prob（概率），数据类型：32位浮点型（float32）
- 名称：harmful_pp（有害性概率得分），数据类型：32位浮点型（float32）
- 名称：tlsh（趋势微局部敏感哈希，TLSH），数据类型：字符串（string）
- 名称：quality_warnings（质量警告），序列类型：字符串（string）
- 名称：categories（类别），序列类型：字符串（string）
- 名称：sentence_identifications（句子识别结果），列表类型：
- 名称：label（标签），数据类型：字符串（string）
- 名称：prob（概率），数据类型：32位浮点型（float32）
- 名称：perplexity_kenlm（KENLM语言模型困惑度），数据类型：64位整型（int64）
- 名称：url（统一资源定位符，URL），数据类型：字符串（string）
- 名称：label_identity_attack（身份攻击标签得分），数据类型：64位浮点型（float64）
- 名称：label_insult（侮辱性标签得分），数据类型：64位浮点型（float64）
- 名称：label_obscene（淫秽内容标签得分），数据类型：64位浮点型（float64）
- 名称：label_severe_toxicity（严重毒性标签得分），数据类型：64位浮点型（float64）
- 名称：label_threat（威胁性标签得分），数据类型：64位浮点型（float64）
- 名称：label_toxicity（毒性标签得分），数据类型：64位浮点型（float64）
数据集划分：
- 名称：train（训练集），字节数：40449678552，样本数：5225577
下载大小：2848314172
数据集总大小：40449678552
---
# "oscar_2301_fi_cleaned" 数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: oscar_2301_fi_cleaned

数据集特征

• 特征列表:
  • id: 整数类型 (int64)
  • text: 字符串类型 (string)
  • meta: 结构化数据
    • warc_headers: 结构化数据
      • warc-record-id: 字符串类型 (string)
      • warc-date: 字符串类型 (string)
      • content-type: 字符串类型 (string)
      • content-length: 整数类型 (int32)
      • warc-type: 字符串类型 (string)
      • warc-identified-content-language: 字符串类型 (string)
      • warc-refers-to: 字符串类型 (string)
      • warc-target-uri: 字符串类型 (string)
      • warc-block-digest: 字符串类型 (string)
    • identification: 结构化数据
      • label: 字符串类型 (string)
      • prob: 浮点数类型 (float32)
    • harmful_pp: 浮点数类型 (float32)
    • tlsh: 字符串类型 (string)
    • quality_warnings: 序列类型，字符串 (sequence: string)
    • categories: 序列类型，字符串 (sequence: string)
    • sentence_identifications: 列表
      • label: 字符串类型 (string)
      • prob: 浮点数类型 (float32)
  • perplexity_kenlm: 整数类型 (int64)
  • url: 字符串类型 (string)
  • label_identity_attack: 浮点数类型 (float64)
  • label_insult: 浮点数类型 (float64)
  • label_obscene: 浮点数类型 (float64)
  • label_severe_toxicity: 浮点数类型 (float64)
  • label_threat: 浮点数类型 (float64)
  • label_toxicity: 浮点数类型 (float64)

数据集分割

• 分割信息:
  • train:
    • 字节数: 40449678552
    • 示例数: 5225577

数据集大小

• 下载大小: 2848314172
• 数据集大小: 40449678552