OxAISH-AL-LLM/wiki_toxic

---
annotations_creators:
- crowdsourced
language:
- en
language_creators:
- found
license:
- cc0-1.0
multilinguality:
- monolingual
pretty_name: Toxic Wikipedia Comments
size_categories:
- 100K<n<1M
source_datasets:
- extended|other
tags:
- wikipedia
- toxicity
- toxic comments
task_categories:
- text-classification
task_ids:
- hate-speech-detection
---
# Dataset Card for Wiki Toxic

## Table of Contents
- [Table of Contents](#table-of-contents)
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-fields)
- [Data Splits](#data-splits)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)
- [Contributions](#contributions)

## Dataset Description

- **Homepage:**
- **Repository:**
- **Paper:**
- **Leaderboard:**
- **Point of Contact:**

### Dataset Summary

The Wiki Toxic dataset is a modified, cleaned version of the dataset used in the [Kaggle Toxic Comment Classification challenge](https://www.kaggle.com/competitions/jigsaw-toxic-comment-classification-challenge/overview) from 2017/18. The dataset contains comments collected from Wikipedia forums and classifies them into two categories, `toxic` and `non-toxic`.

The Kaggle dataset was cleaned using the included `clean.py` file.

### Supported Tasks and Leaderboards

- Text Classification: the dataset can be used for training a model to recognise toxicity in sentences and classify them accordingly.

### Languages

The sole language used in the dataset is English.

## Dataset Structure

### Data Instances

For each data point, there is an id, the comment_text itself, and a label (0 for non-toxic, 1 for toxic).

```
{'id': 'a123a58f610cffbc',
'comment_text': '"This article SUCKS. It may be poorly written, poorly formatted, or full of pointless crap that no one cares about, and probably all of the above. If it can be rewritten into something less horrible, please, for the love of God, do so, before the vacuum caused by its utter lack of quality drags the rest of Wikipedia down into a bottomless pit of mediocrity."',
'label': 1}
```

### Data Fields

- `id`: A unique identifier string for each comment
- `comment_text`: A string containing the text of the comment
- `label`: An integer, either 0 if the comment is non-toxic, or 1 if the comment is toxic

### Data Splits

The Wiki Toxic dataset has three splits: *train*, *validation*, and *test*. The statistics for each split are below:

| Dataset Split | Number of data points in split |
| ----------- | ----------- |
| Train | 127,656 |
| Validation | 31,915 |
| Test | 63,978 |

## Dataset Creation

### Curation Rationale

[More Information Needed]

### Source Data

#### Initial Data Collection and Normalization

[More Information Needed]

#### Who are the source language producers?

[More Information Needed]

### Annotations

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

[More Information Needed]

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]

### Other Known Limitations

[More Information Needed]

## Additional Information

### Dataset Curators

[More Information Needed]

### Licensing Information

[More Information Needed]

### Citation Information

[More Information Needed]

### Contributions

Thanks to [@github-username](https://github.com/<github-username>) for adding this dataset.

annotations_creators:
- 众包（crowdsourced）
language:
- 英语（en）
language_creators:
- 现成采集（found）
license:
- CC0 1.0（cc0-1.0）
multilinguality:
- 单语言（monolingual）
pretty_name: 有毒维基百科评论（Toxic Wikipedia Comments）
size_categories:
- 10万<n<100万
source_datasets:
- 扩展|其他（extended|other）
tags:
- 维基百科（wikipedia）
- 毒性（toxicity）
- 有毒评论（toxic comments）
task_categories:
- 文本分类（text-classification）
task_ids:
- 仇恨言论检测（hate-speech-detection）
---
# Wiki Toxic 数据集卡片

## 目录
- [目录](#table-of-contents)
- [数据集描述](#dataset-description)
- [数据集摘要](#dataset-summary)
- [支持的任务与排行榜](#supported-tasks-and-leaderboards)
- [语言](#languages)
- [数据集结构](#dataset-structure)
- [数据实例](#data-instances)
- [数据字段](#data-fields)
- [数据分割](#data-splits)
- [数据集创建](#dataset-creation)
- [数据集构建依据](#curation-rationale)
- [源数据](#source-data)
- [注释](#annotations)
- [个人与敏感信息](#personal-and-sensitive-information)
- [数据使用注意事项](#considerations-for-using-the-data)
- [数据集的社会影响](#social-impact-of-dataset)
- [偏差讨论](#discussion-of-biases)
- [其他已知限制](#other-known-limitations)
- [附加信息](#additional-information)
- [数据集维护者](#dataset-curators)
- [许可信息](#licensing-information)
- [引用信息](#citation-information)
- [贡献](#contributions)

## 数据集描述

- **主页：**
- **代码仓库：**
- **论文：**
- **排行榜：**
- **联系人：**

### 数据集摘要

Wiki Toxic 数据集是2017/2018年Kaggle有毒评论分类挑战赛（[Kaggle Toxic Comment Classification Challenge](https://www.kaggle.com/competitions/jigsaw-toxic-comment-classification-challenge/overview)）所用数据集的修改与清理版本。本数据集包含从维基百科论坛采集的评论，并将其划分为`有毒（toxic）`与`非有毒（non-toxic）`两类。Kaggle原始数据集通过附带的`clean.py`脚本完成了数据清理工作。

### 支持的任务与排行榜

- 文本分类（text-classification）：本数据集可用于训练模型识别文本中的毒性内容并完成对应分类。

### 语言

本数据集仅包含英语语料。

## 数据集结构

### 数据实例

每个数据样本包含唯一标识符、评论文本以及标签（0代表非有毒评论，1代表有毒评论）。

{'id': 'a123a58f610cffbc',
'comment_text': '"This article SUCKS. It may be poorly written, poorly formatted, or full of pointless crap that no one cares about, and probably all of the above. If it can be rewritten into something less horrible, please, for the love of God, do so, before the vacuum caused by its utter lack of quality drags the rest of Wikipedia down into a bottomless pit of mediocrity."',
'label': 1}

### 数据字段

- `id`：每条评论的唯一标识符字符串
- `comment_text`：包含评论文本内容的字符串
- `label`：整数类型标签，0表示非有毒评论，1表示有毒评论

### 数据分割

Wiki Toxic 数据集包含训练集（train）、验证集（validation）与测试集（test）三个数据分割，各分割的统计信息如下：

| 数据集分割 | 该分割的数据点数量 |
| ----------- | ----------- |
| 训练集 | 127,656 |
| 验证集 | 31,915 |
| 测试集 | 63,978 |

## 数据集创建

### 数据集构建依据

【需补充更多信息】

### 源数据

#### 初始数据采集与标准化

【需补充更多信息】

#### 源语言生产者是谁？

【需补充更多信息】

### 注释

#### 注释流程

【需补充更多信息】

#### 注释人员是谁？

【需补充更多信息】

### 个人与敏感信息

【需补充更多信息】

## 数据使用注意事项

### 数据集的社会影响

【需补充更多信息】

### 偏差讨论

【需补充更多信息】

### 其他已知限制

【需补充更多信息】

## 附加信息

### 数据集维护者

【需补充更多信息】

### 许可信息

【需补充更多信息】

### 引用信息

【需补充更多信息】

### 贡献

感谢[@github-username](https://github.com/<github-username>) 为本数据集的添加工作。

原始信息汇总

数据集概述

数据集名称

• 名称: Wiki Toxic
• 别名: Toxic Wikipedia Comments

数据集属性

• 语言: 英语
• 许可证: CC0-1.0
• 多语言性: 单语种
• 大小: 100K<n<1M
• 来源: 扩展自其他数据集
• 标签: wikipedia, toxicity, toxic comments
• 任务类别: 文本分类
• 任务ID: hate-speech-detection

数据集描述

• 摘要: Wiki Toxic 数据集是2017/18年Kaggle毒性评论分类挑战赛所用数据集的修改和清洗版本。该数据集包含从维基百科论坛收集的评论，并将其分类为毒性和非毒性两类。
• 支持的任务: 文本分类，用于训练模型识别句子中的毒性并进行相应分类。
• 语言: 数据集仅使用英语。

数据集结构

• 数据实例: 每个数据点包含一个id、comment_text和标签（0表示非毒性，1表示毒性）。
• 数据字段:
  • id: 每个评论的唯一标识符
  • comment_text: 包含评论文本的字符串
  • label: 整数，0表示非毒性，1表示毒性
• 数据分割: 数据集分为训练集、验证集和测试集，具体统计如下：
  • 训练集: 127,656个数据点
  • 验证集: 31,915个数据点
  • 测试集: 63,978个数据点

数据集创建

• 注释创建者: 众包
• 数据收集和标准化: 信息缺失
• 注释过程: 信息缺失
• 个人和敏感信息: 信息缺失

使用数据的考虑

• 社会影响: 信息缺失
• 偏见讨论: 信息缺失
• 其他已知限制: 信息缺失

附加信息

• 数据集管理员: 信息缺失
• 许可信息: 信息缺失
• 引用信息: 信息缺失
• 贡献者: 感谢@github-username添加此数据集。

搜集汇总

数据集介绍

构建方式

在网络内容治理领域，识别并过滤有害言论是维护社区健康的关键任务。OxAISH-AL-LLM/wiki_toxic数据集源自2017/18年Kaggle毒性评论分类挑战赛，经过精心清洗与重构而成。原始数据采集自维基百科论坛的评论，通过众包方式标注毒性标签。数据集的构建者利用附带的clean.py脚本对原始数据进行去噪与规范化处理，最终将评论分为toxic（毒性）与non-toxic（非毒性）两类。数据集包含三个划分：训练集127,656条、验证集31,915条、测试集63,978条，每个样本由唯一标识符id、评论文本comment_text及二进制标签label组成，标签0表示非毒性，1表示毒性。

特点

该数据集的核心特质在于其简洁性与高实用性。作为单语言（英语）文本分类资源，它聚焦于维基百科论坛的真实用户评论，涵盖了从恶意攻击到正常讨论的广泛语言风格。数据规模介于10万至100万之间，平衡了模型训练的效率与数据多样性。每个样本仅包含id、文本和标签三个字段，结构清晰，易于处理。数据集采用CC0-1.0许可证，无使用限制，适合学术研究与工业应用。其毒性检测任务直接服务于在线平台的仇恨言论识别，具有显著的社会价值，同时保留了原始Kaggle挑战赛的标注质量，确保了分类任务的可靠性。

使用方法

本数据集专为文本分类任务设计，尤其适用于毒性检测与仇恨言论识别模型的训练。用户可通过HuggingFace的datasets库直接加载，使用load_dataset('OxAISH-AL-LLM/wiki_toxic')即可获取预划分的训练、验证和测试集。在模型构建中，建议将comment_text字段作为输入特征，label字段作为监督目标。数据以JSON格式存储，支持批处理与微调。研究者可基于此数据训练BERT、RoBERTa等预训练语言模型，或构建轻量级分类器。评估时可采用准确率、F1分数等指标，重点关注毒性样本的召回率，以平衡检测敏感性与误报率。数据集已去除个人敏感信息，可直接用于实验。

背景与挑战

背景概述

网络空间中的语言毒性问题日益严峻，尤其以维基百科等开放协作平台为甚，恶意评论不仅破坏社区氛围，更威胁信息生态的健康。在此背景下，OxAISH-AL-LLM/wiki_toxic数据集应运而生，其前身源自2017至2018年间Kaggle举办的毒性评论分类挑战赛，由研究者对原始数据进行清洗与重构而成。该数据集聚焦于维基百科论坛中的英文评论，通过人工众包标注将文本划分为“毒性”与“非毒性”两类，为文本分类与仇恨言论检测领域提供了标准化基准。自发布以来，该数据集已成为训练和评估语言毒性识别模型的重要资源，推动了自然语言处理技术在内容审核方面的研究进展，尤其在多标签分类与鲁棒性分析中发挥着关键作用。

当前挑战

该数据集面临多重挑战。其一，毒性检测本身具有高度主观性与语境依赖性，同一表述在不同文化或语义环境下可能呈现截然不同的冒犯程度，模型难以准确捕捉细微的冒犯边界。其二，原始数据中类别分布极不均衡，毒性样本占比显著低于非毒性样本，易导致模型对少数类别的识别能力不足，产生严重的假阴性偏差。其三，构建过程中的标注一致性难题不容忽视，众包标注者个体差异与标注指南的模糊性可能引入标签噪声，影响数据质量。此外，数据仅涵盖英文，语言与文化的局限性限制了模型的跨域泛化能力，亟需更多元化的语料扩展以应对全球网络环境的多样性。

常用场景

经典使用场景

Wiki Toxic数据集源自Kaggle有毒评论分类挑战赛，经过清洗与整理后，专门用于训练和评估文本分类模型在识别网络言论毒性方面的性能。该数据集汇集了来自维基百科论坛的真实用户评论，每一条文本均被标注为“toxic”或“non-toxic”，为自然语言处理领域提供了一个经典且极具代表性的二分类基准。研究者常借此数据集构建和对比各类深度学习模型，如基于LSTM、Transformer架构的分类器，以探索语言特征与毒性表达之间的深层关联，推动文本理解技术的持续演进。

解决学术问题

该数据集的核心价值在于系统性地应对网络环境中言论毒性自动检测这一关键学术挑战。在传统自然语言处理研究中，情感分析和攻击性语言识别往往缺乏高质量、大规模且带有明确标签的语料支撑。Wiki Toxic通过提供超过22万条人工标注的维基百科评论，弥补了这一数据缺口，使得研究者能够深入探讨毒性言论的语言学特征、上下文依赖性及类别不平衡问题。该数据集的发布显著促进了对抗性攻击、模型鲁棒性及偏见消除等方向的理论突破，为构建更公正、更安全的在线交流环境奠定了坚实的实验基础。

衍生相关工作

围绕Wiki Toxic数据集，学术界衍生了一系列具有深远影响的经典工作。其中最具代表性的包括基于BERT和RoBERTa等预训练语言模型的有毒评论分类研究，这些工作通过微调策略显著提升了毒性识别的准确率与泛化能力。此外，该数据集也催生了关于对抗性样本生成与防御的探索，研究者利用其构建了更具挑战性的测试集，以检验模型对刻意伪装或改写后毒性言论的判别力。同时，多标签毒性分类、跨语言迁移学习以及公平性评估等方向亦从中汲取灵感，持续拓展着有害内容识别技术的理论边界与应用广度。