Intuit-GenSRF/all_spanish_datasets

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
dataset_info:
features:
- name: text
dtype: string
- name: labels
sequence: string
- name: encoded_labels
sequence: int64
- name: lang
dtype: string
- name: has_toxic
dtype: int64
- name: has_profane
dtype: int64
- name: has_insult
dtype: int64
- name: has_hate
dtype: int64
- name: has_threat
dtype: int64
- name: has_sexual
dtype: int64
- name: has_offensive
dtype: int64
- name: has_selfharm
dtype: int64
- name: has_harassment
dtype: int64
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 1495796876
num_examples: 2814389
download_size: 603996129
dataset_size: 1495796876
---
# Dataset Card for "all_spanish_datasets"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

数据集信息

• 特征:
  • 名称: text
    • 数据类型: string
  • 名称: labels
    • 序列类型: string
  • 名称: encoded_labels
    • 序列类型: int64
  • 名称: lang
    • 数据类型: string
  • 名称: has_toxic
    • 数据类型: int64
  • 名称: has_profane
    • 数据类型: int64
  • 名称: has_insult
    • 数据类型: int64
  • 名称: has_hate
    • 数据类型: int64
  • 名称: has_threat
    • 数据类型: int64
  • 名称: has_sexual
    • 数据类型: int64
  • 名称: has_offensive
    • 数据类型: int64
  • 名称: has_selfharm
    • 数据类型: int64
  • 名称: has_harassment
    • 数据类型: int64
  • 名称: index_level_0
    • 数据类型: int64

分割

• 名称: train
  • 字节数: 1495796876
  • 样本数: 2814389

数据集大小

• 下载大小: 603996129
• 数据集大小: 1495796876

搜集汇总

背景与挑战

背景概述

该数据集是一个大规模西班牙语文本分类数据集，包含超过280万条训练样本，专门用于检测文本中的有害内容，如毒性、侮辱、仇恨言论、威胁、性内容、冒犯性言论、自残和骚扰等。数据集结构清晰，提供文本、标签和编码标签，适用于多标签分类任务，旨在支持西班牙语自然语言处理中的安全内容过滤研究。