Finnish-NLP/wikipedia_20231101_fi_cleaned

--- dataset_info: features: - name: id dtype: string - name: url dtype: string - name: title dtype: string - name: text dtype: string - name: perplexity_kenlm dtype: int64 - name: label_identity_attack dtype: float64 - name: label_insult dtype: float64 - name: label_obscene dtype: float64 - name: label_severe_toxicity dtype: float64 - name: label_threat dtype: float64 - name: label_toxicity dtype: float64 splits: - name: train num_bytes: 950266420 num_examples: 410076 download_size: 560602856 dataset_size: 950266420 configs: - config_name: default data_files: - split: train path: data/train-* ---

原始信息汇总

数据集概述

特征信息

• id: 数据类型为字符串。
• url: 数据类型为字符串。
• title: 数据类型为字符串。
• text: 数据类型为字符串。
• perplexity_kenlm: 数据类型为整数。
• label_identity_attack: 数据类型为浮点数。
• label_insult: 数据类型为浮点数。
• label_obscene: 数据类型为浮点数。
• label_severe_toxicity: 数据类型为浮点数。
• label_threat: 数据类型为浮点数。
• label_toxicity: 数据类型为浮点数。

数据分割

• train: 包含410076个样本，占用950266420字节。

数据集大小

• 下载大小: 560602856字节。
• 数据集大小: 950266420字节。

配置信息

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*