google/jigsaw_toxicity_pred

--- annotations_creators: - crowdsourced language_creators: - other language: - en license: - cc0-1.0 multilinguality: - monolingual size_categories: - 100K<n<1M source_datasets: - original task_categories: - text-classification task_ids: - multi-label-classification pretty_name: JigsawToxicityPred dataset_info: features: - name: comment_text dtype: string - name: toxic dtype: class_label: names: '0': 'false' '1': 'true' - name: severe_toxic dtype: class_label: names: '0': 'false' '1': 'true' - name: obscene dtype: class_label: names: '0': 'false' '1': 'true' - name: threat dtype: class_label: names: '0': 'false' '1': 'true' - name: insult dtype: class_label: names: '0': 'false' '1': 'true' - name: identity_hate dtype: class_label: names: '0': 'false' '1': 'true' splits: - name: train num_bytes: 71282358 num_examples: 159571 - name: test num_bytes: 28241991 num_examples: 63978 download_size: 0 dataset_size: 99524349 train-eval-index: - config: default task: text-classification task_id: binary_classification splits: train_split: train eval_split: test col_mapping: comment_text: text toxic: target metrics: - type: accuracy name: Accuracy - type: f1 name: F1 macro args: average: macro - type: f1 name: F1 micro args: average: micro - type: f1 name: F1 weighted args: average: weighted - type: precision name: Precision macro args: average: macro - type: precision name: Precision micro args: average: micro - type: precision name: Precision weighted args: average: weighted - type: recall name: Recall macro args: average: macro - type: recall name: Recall micro args: average: micro - type: recall name: Recall weighted args: average: weighted --- # Dataset Card for [Dataset Name] ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** [Jigsaw Comment Toxicity Classification Kaggle Competition](https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge/data) - **Repository:** - **Paper:** - **Leaderboard:** - **Point of Contact:** ### Dataset Summary Discussing things you care about can be difficult. The threat of abuse and harassment online means that many people stop expressing themselves and give up on seeking different opinions. Platforms struggle to effectively facilitate conversations, leading many communities to limit or completely shut down user comments. This dataset consists of a large number of Wikipedia comments which have been labeled by human raters for toxic behavior. ### Supported Tasks and Leaderboards The dataset support multi-label classification ### Languages The comments are in English ## Dataset Structure ### Data Instances A data point consists of a comment followed by multiple labels that can be associated with it. {'id': '02141412314', 'comment_text': 'Sample comment text', 'toxic': 0, 'severe_toxic': 0, 'obscene': 0, 'threat': 0, 'insult': 0, 'identity_hate': 1, } ### Data Fields - `id`: id of the comment - `comment_text`: the text of the comment - `toxic`: value of 0(non-toxic) or 1(toxic) classifying the comment - `severe_toxic`: value of 0(non-severe_toxic) or 1(severe_toxic) classifying the comment - `obscene`: value of 0(non-obscene) or 1(obscene) classifying the comment - `threat`: value of 0(non-threat) or 1(threat) classifying the comment - `insult`: value of 0(non-insult) or 1(insult) classifying the comment - `identity_hate`: value of 0(non-identity_hate) or 1(identity_hate) classifying the comment ### Data Splits The data is split into a training and testing set. ## Dataset Creation ### Curation Rationale The dataset was created to help in efforts to identify and curb instances of toxicity online. ### Source Data #### Initial Data Collection and Normalization The dataset is a collection of Wikipedia comments. #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases If words that are associated with swearing, insults or profanity are present in a comment, it is likely that it will be classified as toxic, regardless of the tone or the intent of the author e.g. humorous/self-deprecating. This could present some biases towards already vulnerable minority groups. ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information The "Toxic Comment Classification" dataset is released under [CC0], with the underlying comment text being governed by Wikipedia\'s [CC-SA-3.0]. ### Citation Information No citation information. ### Contributions Thanks to [@Tigrex161](https://github.com/Tigrex161) for adding this dataset.

原始信息汇总

数据集概述

数据集名称: JigsawToxicityPred

语言: 英语

许可证: CC0-1.0

多语言性: 单语

大小: 100K<n<1M

源数据集: 原始

任务类别: 文本分类

任务ID: 多标签分类

数据集结构

数据实例

每个数据点包含一个评论及其相关的多个标签。

json { "id": "02141412314", "comment_text": "Sample comment text", "toxic": 0, "severe_toxic": 0, "obscene": 0, "threat": 0, "insult": 0, "identity_hate": 1 }

数据字段

• id: 评论的ID
• comment_text: 评论文本
• toxic: 0（非毒性）或 1（毒性）
• severe_toxic: 0（非严重毒性）或 1（严重毒性）
• obscene: 0（非猥亵）或 1（猥亵）
• threat: 0（非威胁）或 1（威胁）
• insult: 0（非侮辱）或 1（侮辱）
• identity_hate: 0（非身份仇恨）或 1（身份仇恨）

数据分割

• 训练集: 159571个实例，71282358字节
• 测试集: 63978个实例，28241991字节

训练评估指标

• 准确率 (Accuracy)
• F1 宏 (F1 macro)
• F1 微 (F1 micro)
• F1 加权 (F1 weighted)
• 精确率 宏 (Precision macro)
• 精确率 微 (Precision micro)
• 精确率 加权 (Precision weighted)
• 召回率 宏 (Recall macro)
• 召回率 微 (Recall micro)
• 召回率 加权 (Recall weighted)

搜集汇总

数据集介绍

构建方式

在在线内容安全领域，JigsawToxicityPred数据集通过众包标注方式构建，其原始数据源自维基百科的评论。这些评论经过人工标注者的细致评估，被划分为多个毒性类别，包括一般毒性、严重毒性、淫秽内容、威胁、侮辱和身份仇恨。数据集的构建过程注重真实场景的反映，确保了标注的多样性和代表性，为研究在线言论的毒性检测提供了坚实基础。

特点

该数据集以多标签分类任务为核心，每个评论实例关联六个独立的二分类标签，覆盖了毒性言论的多个维度。数据规模适中，包含超过15万条训练样本和6万条测试样本，全部为英文文本，适用于自然语言处理模型的训练与评估。其结构清晰，特征字段明确，支持准确度、F1分数等多项评估指标，便于研究者进行系统性分析。

使用方法

使用该数据集时，研究者可将其应用于文本分类模型的开发，特别是多标签毒性检测任务。通过加载训练集和测试集，模型可以学习识别评论中的不同毒性类型。数据集支持标准评估流程，用户可基于提供的指标进行模型性能验证，同时需注意潜在的语言偏差，确保应用场景的合理性和公正性。

背景与挑战

背景概述

在数字时代，网络言论的治理成为维护公共讨论空间健康的关键议题。谷歌旗下的Jigsaw团队于2017年创建了Jigsaw Toxicity Prediction数据集，旨在通过大规模标注的维基百科评论，推动在线毒性内容自动检测技术的研究。该数据集聚焦于多标签文本分类任务，涵盖毒性、侮辱、仇恨言论等多种有害言论类别，为自然语言处理领域提供了重要的基准资源，促进了内容审核算法的发展，对提升网络社区的安全性与包容性产生了深远影响。

当前挑战

该数据集致力于解决在线毒性内容检测的复杂挑战，包括识别隐含的恶意意图、区分讽刺与真实攻击，以及处理多标签分类中类别不平衡问题。在构建过程中，面临众包标注带来的主观性偏差，不同标注者对毒性界限的理解差异可能导致标签不一致；此外，数据源自维基百科评论，其语言风格相对规范，可能无法充分代表其他网络平台中更随意或多样化的表达形式，限制了模型的泛化能力。

常用场景

经典使用场景

在自然语言处理领域，Jigsaw毒性预测数据集常被用于多标签文本分类任务，特别是在在线内容审核与毒性检测的研究中。该数据集包含大量来自维基百科的评论，每条评论均标注了毒性、严重毒性、淫秽、威胁、侮辱和身份仇恨等多个标签，为模型训练提供了丰富的监督信号。研究者通常利用该数据集构建和评估机器学习模型，以自动识别网络评论中的有害内容，从而提升在线交流环境的健康度。

实际应用

在实际应用中，Jigsaw毒性预测数据集被广泛集成到社交媒体平台、论坛和新闻网站的内容审核系统中，用于实时过滤有害评论，保护用户免受网络暴力和骚扰。它支持开发自动化工具，辅助人工审核员高效处理海量用户生成内容，降低运营成本，同时维护在线社区的文明氛围，对提升数字公共空间的包容性与安全性起到了关键作用。

衍生相关工作

基于该数据集，衍生了一系列经典研究工作，例如在Kaggle竞赛中涌现的先进多标签分类模型，如卷积神经网络和Transformer架构的变体。这些工作进一步推动了迁移学习、集成方法和对抗训练在毒性检测中的应用，相关成果已扩展至跨语言毒性分析和偏见校正领域，为后续数据集如Jigsaw Multilingual Toxic Comment Classification的创建奠定了理论基础。