Finnish-NLP/HPLT_1.2_fi_cleaned

---
dataset_info:
features:
- name: id
dtype: int64
- name: text
dtype: string
- name: url
dtype: string
- name: perplexity_kenlm
dtype: int64
- name: label_identity_attack
dtype: float64
- name: label_insult
dtype: float64
- name: label_obscene
dtype: float64
- name: label_severe_toxicity
dtype: float64
- name: label_threat
dtype: float64
- name: label_toxicity
dtype: float64
splits:
- name: train
num_bytes: 58313946485
num_examples: 5110923
download_size: 30645534064
dataset_size: 58313946485
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征项：
- 名称：id，数据类型：int64
- 名称：text，数据类型：string
- 名称：url（Uniform Resource Locator，统一资源定位符），数据类型：string
- 名称：perplexity_kenlm（kenlm语言模型困惑度），数据类型：int64
- 名称：label_identity_attack（身份攻击标签），数据类型：float64
- 名称：label_insult（侮辱标签），数据类型：float64
- 名称：label_obscene（淫秽内容标签），数据类型：float64
- 名称：label_severe_toxicity（严重毒性标签），数据类型：float64
- 名称：label_threat（威胁标签），数据类型：float64
- 名称：label_toxicity（毒性标签），数据类型：float64
数据集拆分：
- 拆分名称：train（训练集），占用字节数：58313946485，样本数量：5110923
下载大小：30645534064字节，数据集总大小：58313946485字节
配置项：
- 配置名称：default（默认配置），数据文件：
- 拆分：train（训练集），数据路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• id: 数据类型为 int64
• text: 数据类型为 string
• url: 数据类型为 string
• perplexity_kenlm: 数据类型为 int64
• label_identity_attack: 数据类型为 float64
• label_insult: 数据类型为 float64
• label_obscene: 数据类型为 float64
• label_severe_toxicity: 数据类型为 float64
• label_threat: 数据类型为 float64
• label_toxicity: 数据类型为 float64

数据集划分

• train: 包含 5110923 条数据，占用 58313946485 字节

数据集大小

• 下载大小: 30645534064 字节
• 数据集大小: 58313946485 字节

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*