google/jigsaw_unintended_bias

Jigsaw Unintended Bias in Toxicity Classification数据集来源于同名的Kaggle竞赛，主要用于毒性预测任务。数据集包含评论文本、毒性评分、多种毒性子类型（如严重毒性、淫秽、身份攻击等）以及身份属性（如性别、种族、宗教等）。数据集分为训练集和测试集，测试集进一步分为公开和私有排行榜两部分。该数据集的创建目的是帮助识别和减少在线毒性内容。

The Jigsaw Unintended Bias in Toxicity Classification dataset is derived from the eponymous Kaggle competition, primarily designed for toxicity prediction tasks. It contains comment texts, toxicity scores, multiple toxicity subtypes (e.g., severe toxicity, obscenity, identity attack, etc.), as well as identity attributes such as gender, race, religion and other related categories. The dataset is split into training and test sets, where the test set is further divided into two subsets: public and private leaderboards. The purpose of developing this dataset is to aid in identifying and mitigating online toxic content.

原始信息汇总

数据集概述

名称: Jigsaw Unintended Bias in Toxicity Classification

语言: 英语

许可证: CC0-1.0

多语言性: 单语种

大小: 1M<n<10M

来源: 原始数据

任务类别: 文本分类

任务ID: 文本评分

标签: 毒性预测

数据集结构

数据字段

• target: 目标字段，分类评论的毒性，0(非毒性)到1(毒性)。
• comment_text: 评论文本。
• severe_toxicity: 严重毒性分类，0(非严重毒性)到1(严重毒性)。
• obscene: 猥亵分类，0(非猥亵)到1(猥亵)。
• identity_attack: 身份攻击分类，0(非身份攻击)或1(身份攻击)。
• insult: 侮辱分类，0(非侮辱)或1(侮辱)。
• threat: 威胁分类，0(非威胁)到1(威胁)。
• 其他身份属性: 包括性别、性取向、宗教、种族等，可能包含NaN值。
• 其他元数据: 包括创建日期、出版ID、点赞数、注释者数量等。

数据分割

• train: 训练集，包含标签和身份信息。
• test_private_leaderboard: 私有测试集，包含毒性标签和子组。
• test_public_leaderboard: 公共测试集，包含毒性标签和子组。

数据集创建

注释创建者: 众包

语言创建者: 众包

许可证: 该数据集及其基础评论文本均根据CC0发布。

贡献者: 感谢@iwontbecreative添加此数据集。

搜集汇总

数据集介绍

构建方式

Jigsaw Unintended Bias in Toxicity Classification数据集的构建旨在识别和抑制在线毒性内容。数据集通过众包的方式收集并标注，涵盖了数百万条评论，每条评论都标注了是否具有毒性、严重毒性、攻击性、侮辱性和威胁性等特征。此外，部分评论还标注了是否包含对特定身份群体的攻击。数据集分为训练集和测试集，其中训练集包含标签和身份信息，而测试集则不含这些信息，以供竞赛参与者进行模型评估。

特点

该数据集的特点在于其规模庞大，标注详细，包含多种毒性类型和身份属性。数据集采用单语种（英语）形式，且遵循CC0协议，使得使用者在无需担心版权问题的情况下，可以自由地使用和分享数据。此外，数据集的结构化设计使得研究者能够方便地进行毒性分类和多元属性预测。

使用方法

使用该数据集时，研究者可以依据数据集中的注释和特征进行毒性预测模型的训练和评估。数据集提供了详细的注释，包括评论的文本内容、毒性评分、身份属性等信息。用户可以通过Hugging Face提供的接口轻松加载和预处理数据，进而利用机器学习技术进行模型的开发和测试。需要注意的是，使用过程中应充分考虑数据集的社会影响和潜在偏见，以确保模型的公平性和可靠性。

背景与挑战

背景概述

Jigsaw Unintended Bias in Toxicity Classification数据集，由Kaggle竞赛同名数据集发展而来，旨在助力研究者识别并抑制网络中的毒性言论。该数据集的创建时间为2019年，主要研究人员为Kaggle社区成员，核心研究问题聚焦于毒性言论的分类及其子类型的识别。该数据集对自然语言处理领域，尤其是毒性言论预测和偏见识别研究，具有显著的影响力。

当前挑战

该数据集在构建过程中遇到的挑战包括：确保标注质量的一致性，处理个人和敏感信息以保护隐私，以及平衡数据集中不同群体的代表性。在解决领域问题方面，挑战在于如何准确预测毒性言论，尤其是在子类型识别中区分不同的毒性表现，以及如何减少模型的无意偏见。

常用场景

经典使用场景

在文本分类领域，Jigsaw Unintended Bias in Toxicity Classification数据集的经典使用场景是对在线社交媒体或论坛中的评论进行毒性检测，以识别并过滤出具有攻击性、侮辱性或其他不适当内容的评论。该数据集提供了详细的毒性子类型标签，使得研究人员能够构建更为精细的模型来理解和预测文本的毒性程度。

衍生相关工作

基于该数据集，衍生出了大量研究工作，包括但不限于毒性检测模型的开发、偏见和公平性的评估方法、以及跨文化和跨语言毒性识别的研究。这些工作进一步推动了文本分类和自然语言处理领域的发展，并促进了在线环境的改善。

数据集最近研究

最新研究方向

Jigsaw Unintended Bias in Toxicity Classification数据集作为识别在线毒性内容的重要资源，近期研究主要聚焦于提高毒性预测的准确性和减少模型偏见。研究者们致力于探索深度学习模型在识别不同类型毒性（如侮辱、威胁、身份攻击等）方面的表现，同时关注模型对于不同人群身份属性的公平性。研究不仅涉及模型训练与评估方法的创新，还包括对数据集本身可能存在的偏见进行深入分析，以促进更公正、可靠的网络环境构建。