遇见数据集

Finnish-NLP/mc4_3.1.0_fi_cleaned

收藏
Hugging Face2023-05-19 更新2024-03-04 收录
官方服务:

资源简介:

该数据集包含文本、时间戳、URL等特征,以及用于分类的多个标签,如身份攻击、侮辱、淫秽、严重毒性、威胁和毒性。数据集分为训练集和验证集,分别有26468761和26149个例子。

该数据集包含文本、时间戳、URL等特征,以及用于分类的多个标签,如身份攻击、侮辱、淫秽、严重毒性、威胁和毒性。数据集分为训练集和验证集,分别有26468761和26149个例子。

提供机构:
Finnish-NLP
原始信息汇总

数据集概述

数据集名称

  • 名称:mc4_3.1.0_fi_cleaned

数据集特征

  • text:文本,数据类型为字符串。
  • timestamp:时间戳,数据类型为时间戳(秒)。
  • url:网址,数据类型为字符串。
  • perplexity_kenlm:困惑度(kenlm),数据类型为整数。
  • label_identity_attack:身份攻击标签,数据类型为浮点数。
  • label_insult:侮辱标签,数据类型为浮点数。
  • label_obscene:淫秽标签,数据类型为浮点数。
  • label_severe_toxicity:严重毒性标签,数据类型为浮点数。
  • label_threat:威胁标签,数据类型为浮点数。
  • label_toxicity:毒性标签,数据类型为浮点数。

数据集分割

  • train:训练集,包含26468761个样本,总大小为103354369732字节。
  • validation:验证集,包含26149个样本,总大小为101931416字节。

数据集大小

  • 下载大小:7141130482字节
  • 数据集总大小:103456301148字节
二维码
社区交流群
二维码
科研交流群
商业服务