textdetox/multilingual_toxicity_dataset

该数据集是为[CLEF TextDetox 2024]共享任务提供的多种语言的二元毒性分类数据集。每种语言包含5000个样本，其中2500个是有毒样本，2500个是非有毒样本。数据集的来源包括多个公开的毒性评论数据集，如Jigsaw、Unitary AI Toxicity Dataset等。数据集支持的语言包括英语、俄语、乌克兰语、德语、西班牙语、阿姆哈拉语、中文、阿拉伯语和印地语。

This dataset is a multilingual binary toxicity classification dataset prepared for the [CLEF TextDetox 2024] shared task. Each language consists of 5,000 samples, with 2,500 toxic samples and 2,500 non-toxic samples respectively. The dataset is sourced from multiple publicly available toxicity comment datasets, including Jigsaw, Unitary AI Toxicity Dataset, and others. Supported languages include English, Russian, Ukrainian, German, Spanish, Amharic, Chinese, Arabic, and Hindi.

原始信息汇总

数据集概述

• 任务类型：二元毒性分类
• 数据集组成：
  • 每种语言提供5000个子部分数据集
  • 包含2500个毒性样本和2500个非毒性样本
• 适用场景：CLEF TextDetox 2024共享任务

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，毒性文本检测是构建安全在线环境的关键任务。本数据集为多语言毒性分类任务而构建，覆盖英语、俄语、乌克兰语、德语、西班牙语、阿姆哈拉语、中文、阿拉伯语、印地语、意大利语、法语、希伯来语、印地英语、日语和鞑靼语共15种语言。其构建方式基于对现有公开毒性语料库的系统性整合与采样：每种语言从原始数据中抽取约5000个样本，其中2500条毒性文本与2500条非毒性文本，形成类别平衡的子集。原始来源包括Jigsaw毒性评论挑战、Unitary AI毒性数据集、俄语毒性评论、乌克兰语毒性数据集、西班牙语Clandestino语料库、德语DeTox语料库、阿姆哈拉语仇恨言论数据集等。部分语言（如法语、印地英语）的语料通过机器翻译或关键词过滤方式生成，确保了多语言覆盖的广泛性与构建方法的可复现性。

特点

该数据集最显著的特点在于其广泛的多语言覆盖与类别平衡设计，为跨语言毒性检测研究提供了标准化基准。每种语言独立划分为5000个样本，确保训练与评估的均衡性。数据以二分类标签标注，简洁明确，便于直接用于监督学习。此外，数据集持续扩展，2025年新增意大利语、法语、希伯来语、印地英语、日语和鞑靼语，展现了其动态演进的特性。所有样本均源自经过学术验证的原始语料库，如Jigsaw、OSACT4、HASOC等，保证了数据质量与来源的可追溯性。该数据集特别适用于多语言毒性分类模型的训练、零样本迁移学习以及跨语言毒性检测系统的性能评估，是推动全球网络安全技术发展的重要资源。

使用方法

使用该数据集时，可通过Hugging Face的datasets库直接加载，指定语言拆分（如en、ru、zh）即可获取对应子集。每个样本包含text字段（字符串）和toxic字段（整型，0表示非毒性，1表示毒性）。研究人员可基于该数据训练二分类模型，如BERT、XLM-R等预训练语言模型，通过微调实现高精度毒性检测。数据集支持多语言联合训练，也可用于评估模型在低资源语言（如鞑靼语、希伯来语）上的泛化能力。此外，数据可用于测试毒性检测方法的跨语言迁移效果，或作为基准在PAN@CLEF文本去毒共享任务中进行比较。用户应引用原始论文以尊重数据来源，并注意部分语言样本量较小（如希伯来语仅2011条），需谨慎处理类别不平衡问题。

背景与挑战

背景概述

随着互联网社交平台的蓬勃发展，多语言环境下的网络有害内容检测已成为自然语言处理领域的关键议题。针对这一需求，由Daryna Dementieva等研究者主导，联合多个国际团队于2024年构建了多语言毒性检测数据集（Multilingual Toxicity Detection Dataset），并在2025年进一步扩展语种覆盖范围。该数据集旨在为PAN CLEF共享任务中的文本解毒（Text Detoxification）提供标准化评估基准，核心研究问题聚焦于跨语言毒性文本的二分类识别。其影响力体现在整合了英语、俄语、乌克兰语、德语、西班牙语等十余种语言的现有语料资源，如Jigsaw竞赛数据集、俄语毒性评论集等，为低资源语言（如鞑靼语、阿姆哈拉语）的毒性检测研究奠定了数据基础，推动了多语言安全语言模型的发展。

当前挑战

该数据集面临的核心挑战在于多语言毒性检测的领域适配性。不同语言中文化语境与表达方式的差异，使得直接迁移分类模型易产生偏见或误判，例如阿拉伯语与希伯来语中隐含的宗教敏感词汇，或印地语中复杂的代码混合现象（Hinglish），均需语言特异性处理。构建过程中，数据来源的异构性构成显著障碍：原始语料来自Kaggle竞赛、学术标注集及众包平台，其标注标准、毒性定义及数据分布（如希伯来语仅2011条样本）存在不一致性，需通过子采样与平衡策略（每语言2500条毒性/非毒性样本）进行标准化。此外，部分语言（如法语、Hinglish）缺乏公开标注资源，依赖机器翻译或关键词过滤等间接方法，可能引入噪声，影响模型泛化能力。

常用场景

经典使用场景

该数据集作为多语言毒性检测的基准资源，广泛应用于训练和评估文本分类模型。其核心任务为二分类毒性识别，覆盖英语、俄语、德语、中文等15种语言，每个子集包含约5000条均衡的正负样本。研究者常利用该数据集微调预训练语言模型（如BERT、XLM-RoBERTa），以构建跨语言的毒性检测系统，并验证模型在不同语言和文化语境下的泛化能力。

实际应用

在实际应用中，该数据集助力社交媒体平台、在线论坛和内容审核系统构建多语言有害内容过滤机制。企业可基于此数据训练自动审核模型，实时识别并拦截仇恨言论、骚扰信息等毒性内容，降低人工审核成本。此外，该语料库还被用于开发面向教育、政务等场景的语言安全工具，例如检测课堂讨论或公共评论中的不当表达，促进数字空间的文明交流。

衍生相关工作

该数据集衍生出多项经典工作，包括PAN@CLEF 2024和2025多语言文本解毒共享任务，推动了毒性检测与文本去毒化技术的协同发展。研究者基于该语料库提出了跨语言毒性知识迁移方法、基于提示学习的少样本检测框架，以及针对低资源语言的主动学习策略。相关成果发表于ECIR、WOAH等顶级会议，促进了多语言毒性检测领域的方法论创新与评测体系标准化。