christinacdl/offensive_language_dataset

---
license: apache-2.0
task_categories:
- text-classification
language:
- en
---

- 36.528 English texts in total, 12.955 NOT offensive and 23.573O OFFENSIVE texts
- All duplicate values were removed
- Split using sklearn into 80% train and 20% temporary test (stratified label). Then split the test set using 0.50% test and validation (stratified label)
- Split: 80/10/10
- Train set label distribution: 0 ==> 10.364, 1 ==> 18.858
- Validation set label distribution: 0 ==> 1.296, 1 ==> 2.357
- Test set label distribution: 0 ==> 1.295, 1 ==> 2.358
- The OLID dataset (Zampieri et al., 2019) and the labels "Offensive" and "Neither" from the paper's dataset "Automated Hate Speech Detection and the Problem of Offensive Language" (Davidson et al.,2017)

许可证：Apache-2.0
任务类别：文本分类（text-classification）
语言：英语（en）
---
- 总计包含36528条英文文本，其中12955条为非冒犯性文本，23573条为冒犯性文本
- 已移除所有重复值
- 首先使用scikit-learn（sklearn）按照分层标签策略将数据集划分为80%的训练集与20%的临时测试集；随后再次按照分层标签策略将临时测试集按1:1比例划分为测试集与验证集，最终数据集划分比例为80/10/10
- 各集合标签分布如下：
- 训练集：标签0对应10364条样本，标签1对应18858条样本
- 验证集：标签0对应1296条样本，标签1对应2357条样本
- 测试集：标签0对应1295条样本，标签1对应2358条样本
- 本数据集整合了OLID数据集（Zampieri等，2019）以及Davidson等人2017年发表的论文《Automated Hate Speech Detection and the Problem of Offensive Language》中标记为"Offensive"与"Neither"的标签样本

原始信息汇总

数据集概述

数据集基本信息

• 许可协议: Apache 2.0
• 任务类别: 文本分类
• 语言: 英语

数据集规模

• 总文本数量: 36,528条
• 非攻击性文本数量: 12,955条
• 攻击性文本数量: 23,573条

数据处理

• 去重处理: 所有重复值已被移除
• 数据分割: 使用sklearn进行分割，分为80%训练集和20%临时测试集（按标签分层），然后将测试集进一步分为50%测试集和50%验证集（按标签分层）

数据集分割详情

• 分割比例: 80/10/10
• 训练集标签分布:
  • 非攻击性文本: 10,364条
  • 攻击性文本: 18,858条
• 验证集标签分布:
  • 非攻击性文本: 1,296条
  • 攻击性文本: 2,357条
• 测试集标签分布:
  • 非攻击性文本: 1,295条
  • 攻击性文本: 2,358条

数据来源

• 数据集来源: OLID数据集（Zampieri et al., 2019）以及论文“Automated Hate Speech Detection and the Problem of Offensive Language”（Davidson et al., 2017）中的标签“Offensive”和“Neither”

搜集汇总

数据集介绍

构建方式

在网络言论治理与自然语言处理交叉领域，该数据集整合了OLID数据集（Zampieri等人，2019）以及Davidson等人（2017）研究中的“Offensive”与“Neither”标签，构建了一个专注于英语文本攻击性分类的语料库。原始数据经过严格去重处理，剔除所有重复条目，最终保留36,528条文本，其中非攻击性文本12,955条，攻击性文本23,573条。采用scikit-learn库进行分层抽样划分，首先按80%比例分割出训练集与临时测试集，随后将临时测试集以50%比例进一步拆分为验证集与测试集，形成80/10/10的最终划分。训练集标签分布为10,364条非攻击性与18,858条攻击性文本，验证集为1,296条与2,357条，测试集为1,295条与2,358条，确保了类别分布的均衡性。

特点

该数据集的核心特征在于其双源融合的构建策略，将两个经典研究中的标签体系统一为二分类任务，有效提升了语料的多样性与鲁棒性。数据集规模适中，36,528条文本中攻击性样本占比约64.5%，非攻击性样本占比约35.5%，呈现出明显的类别不平衡，但通过分层抽样保证了划分后各子集分布的一致性。去重操作消除了冗余信息，增强了数据的独立性与代表性。标签源自权威学术研究，且数据集采用Apache-2.0许可证发布，降低了使用门槛，为攻击性语言检测模型的训练与评估提供了高质量基准资源。

使用方法

该数据集适用于文本分类任务，特别是攻击性语言检测的二分类建模。用户可通过HuggingFace的datasets库直接加载数据集，利用其预设的80/10/10划分，直接获取训练、验证与测试子集。在模型训练时，可基于预训练语言模型（如BERT或RoBERTa）进行微调，针对类别不平衡问题，可采用加权损失函数或过采样技术优化性能。评估阶段，建议采用准确率、精确率、召回率与F1分数等指标，尤其关注少数类（非攻击性文本）的识别效果。此外，数据集还可用于迁移学习或跨领域鲁棒性分析，通过与其他攻击性语料库联合使用，提升模型的泛化能力。

背景与挑战

背景概述

在自然语言处理领域，随着社交媒体平台的蓬勃发展，网络言论中的攻击性语言（Offensive Language）已成为一个亟待解决的社会与技术交叉难题。该数据集由研究者Christina C. D. L.于近年整理发布，核心整合了2017年Davidson等人提出的自动仇恨言论检测数据集中的“攻击性”与“非攻击性”标签，以及2019年Zampieri等人构建的OLID数据集。研究旨在构建一个高质量的英文文本二分类基准，用以区分攻击性言论与非攻击性言论，从而推动在线内容审核与言论规范研究。数据集总计包含36,528条去重后的英文文本，其中攻击性样本23,573条，非攻击性样本12,955条，其规模与均衡性为后续模型训练提供了坚实基础，对文本分类与社交网络分析领域产生了积极影响。

当前挑战

该数据集面临的核心挑战首先体现在领域问题上：攻击性语言检测任务中，言论的边界模糊，不同文化背景与语境下“攻击性”的定义难以统一，导致模型泛化能力受限。此外，数据集中攻击性样本（23,573条）远多于非攻击性样本（12,955条），尽管通过分层抽样划分了训练集（80%）、验证集（10%）与测试集（10%），但类别不平衡仍可能使模型偏向多数类，降低对非攻击性言论的识别准确率。在构建过程中，挑战主要源于数据源的异构性——整合自不同研究的两套数据集可能包含标签标准差异（如OLID的“Offensive”与Davidson数据集的“Neither”），尽管已去除重复值，但标签一致性验证仍需谨慎，以避免引入噪声并影响下游任务的可靠性。

常用场景

经典使用场景

在自然语言处理与计算社会语言学交叉领域中，该数据集常被用于构建二分类模型，以精准识别文本是否包含攻击性语言。研究者通常将其作为基准语料库，训练基于Transformer架构的预训练语言模型，如BERT或RoBERTa，通过微调实现高精度的文本分类任务。其均衡的标签分布与严格去重处理，为模型评估提供了可靠的数据基础，尤其适用于对比不同模型在攻击性语言检测上的泛化能力。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于对抗训练的攻击性语言检测方法、多任务学习框架（同时识别攻击性与目标群体），以及跨语言迁移学习研究。后续研究者还以其为基底构建了更细粒度的注释体系，如区分直接攻击与隐性冒犯，或融合多模态信息增强检测效果。这些工作不仅提升了模型对语境敏感性的理解，还催生了诸如HateXplain等可解释性分析工具，进一步拓展了攻击性语言研究的深度与广度。

数据集最近研究

最新研究方向

当前，网络言论治理成为数字社会的重要议题，尤其是社交媒体平台上的攻击性语言检测需求日益迫切。该数据集融合了OLID（Zampieri et al., 2019）与Davidson等人（2017）经典研究的标注体系，聚焦于区分“攻击性”与“非攻击性”文本，为构建鲁棒的文本分类模型提供了坚实的数据基础。前沿研究方向集中于利用该数据集进行多任务学习与跨领域迁移，探索攻击性语言与仇恨言论、网络霸凌等关联现象的边界，并结合大语言模型的微调策略提升检测精度。同时，该数据集在算法公平性评估中扮演关键角色，用于检验模型对不同社群语言的偏差，推动负责任的AI治理。其影响力已延伸至社交媒体内容审核、线上教育环境安全监测及公共舆论分析，成为计算语言学与社会科学交叉研究的重要基石。