textdetox/multilingual_toxic_lexicon

多语言毒词词汇表，包含英语、俄语、乌克兰语、西班牙语、德语、阿姆哈拉语、阿拉伯语、中文、印地语、意大利语、法语、希伯来语、印地英语、日语和塔塔尔语等语言的毒词列表。该数据集用于文本解毒任务，并从多个来源整合了毒词。

A multilingual toxic lexicon containing lists of toxic words in languages such as English, Russian, Ukrainian, Spanish, German, Amharic, Arabic, Chinese, Hindi, Italian, French, Hebrew, Hinglish, Japanese, and Tatar. The dataset is used for text detoxification tasks and integrates toxic words from various sources.

原始信息汇总

数据集概述

语言支持

• 英语 (en)
• 俄语 (ru)
• 乌克兰语 (uk)
• 西班牙语 (es)
• 德语 (de)
• 阿拉伯语 (ar)
• 阿姆哈拉语 (am)
• 印地语 (hi)
• 中文 (zh)

许可证

• openrail++

数据集信息

• 特征

  • 名称: text
  • 数据类型: string

• 分割

  • 阿姆哈拉语 (am)
    • 字节数: 3540
    • 样本数: 245
  • 西班牙语 (es)
    • 字节数: 14683
    • 样本数: 1195
  • 俄语 (ru)
    • 字节数: 4174135
    • 样本数: 140517
  • 乌克兰语 (uk)
    • 字节数: 153865
    • 样本数: 7356
  • 英语 (en)
    • 字节数: 39323
    • 样本数: 3386
  • 中文 (zh)
    • 字节数: 45303
    • 样本数: 3839
  • 阿拉伯语 (ar)
    • 字节数: 6050
    • 样本数: 430
  • 印地语 (hi)
    • 字节数: 2771
    • 样本数: 133
  • 德语 (de)
    • 字节数: 3036
    • 样本数: 247

• 下载大小

  • 2071857 字节

• 数据集大小

  • 4442706 字节

配置

• 默认配置
  • 数据文件路径
    • 阿姆哈拉语 (am): data/am-*
    • 西班牙语 (es): data/es-*
    • 俄语 (ru): data/ru-*
    • 乌克兰语 (uk): data/uk-*
    • 英语 (en): data/en-*
    • 中文 (zh): data/zh-*
    • 阿拉伯语 (ar): data/ar-*
    • 印地语 (hi): data/hi-*
    • 德语 (de): data/de-*