christinacdl/hate_speech_dataset_new

该数据集包含44,246条文本，其中21,493条为非仇恨文本，22,753条为仇恨文本。数据经过去重处理，并使用sklearn进行分割，分为80%的训练集和20%的临时测试集，测试集进一步分割为50%的测试集和验证集。最终的数据分割比例为80/10/10。训练集、验证集和测试集的标签分布也详细列出。数据集结合了6个公开可用的数据集，包括Ethos、Anatomy of Online Hate、A Benchmark Dataset for Learning to Intervene in Online Hate Speech、Automated Hate Speech Detection and the Problem of Offensive Language、HatEval和Hate Towards the Political Opponent。

原始信息汇总

数据集概述

基本信息

• 许可: Apache-2.0
• 任务类别: 文本分类
• 语言: 英语

数据集规模

• 总文本数: 44,246
• 非仇恨文本数: 21,493
• 仇恨文本数: 22,753

数据处理

• 去重: 所有重复值已被移除
• 数据分割: 使用sklearn进行分割，80%为训练集，20%为临时测试集（标签分层）。随后，临时测试集进一步分割为50%的测试集和验证集（标签分层）
• 分割比例: 80/10/10

数据集分割详情

• 训练集标签分布:
  • 标签0: 17,194
  • 标签1: 18,202
  • 总计: 35,396
• 验证集标签分布:
  • 标签0: 2,150
  • 标签1: 2,275
  • 总计: 4,425
• 测试集标签分布:
  • 标签0: 2,149
  • 标签1: 2,276
  • 总计: 4,425

数据集来源

• 组合来源: 6个公开数据集
  1. "Ethos" dataset (Mollas et al., 2022)
  2. Anatomy of Online Hate: Developing a Taxonomy and Machine Learning Models for Identifying and Classifying Hate in Online News Media (Salminem et al. (2018)
  3. A Benchmark Dataset for Learning to Intervene in Online Hate Speech (Qian et al., 2019)
  4. Automated Hate Speech Detection and the Problem of Offensive Language (Davidson, et al., 2017)
  5. HatEval (Basile et al, 2019), SemEval-2019 Task 5
  6. "Hate Towards the Political Opponent"(Grimminger et al., 2021)

搜集汇总

数据集介绍

构建方式

该数据集旨在为仇恨言论检测领域提供高质量的训练资源，通过整合六个公开可用的仇恨言论数据集构建而成，涵盖Ethos、Online Hate Taxonomy、Intervene in Online Hate Speech、Offensive Language Detection、HatEval及Political Opponent Hate等经典语料。原始数据经过严格的去重处理，剔除所有重复条目，最终保留44,246条文本，其中非仇恨文本21,493条，仇恨文本22,753条。为保障类别平衡，采用分层抽样策略，利用scikit-learn工具将数据划分为80%训练集、10%验证集和10%测试集，确保各子集标签分布与总体一致。

特点

数据集的核心特点在于其多源融合与均衡划分策略。整合六个不同背景的公开语料，使样本覆盖社交媒体评论、新闻报道及政治讨论等多场景下的仇恨言论表达，显著提升了数据多样性和泛化能力。标签分布近乎平衡（仇恨文本占比约51.4%），避免了类别倾斜问题。经分层抽样后的训练集、验证集和测试集在标签比例上高度一致，分别包含约35,396、4,425和4,425条样本，为模型训练、调优和评估提供了稳定可靠的基础。

使用方法

该数据集专为文本分类任务设计，适用于二分类模型对仇恨言论进行检测。用户可直接加载数据，按预设的80/10/10划分使用训练、验证和测试集。推荐基于预训练语言模型（如BERT或RoBERTa）进行微调，利用其分层抽样特性确保交叉验证的可靠性。数据以标准格式存储，便于与Hugging Face Transformers库无缝集成，通过简单的数据加载器即可完成批处理训练和评估，适合学术研究及工业应用中的仇恨言论识别场景。

背景与挑战

背景概述

在社交媒体蓬勃发展的当下，仇恨言论的泛滥已成为一个严峻的社会问题，对网络环境的健康与用户的心理安全构成了显著威胁。为应对这一挑战，christinacdl/hate_speech_dataset_new数据集应运而生，由多位研究者整合了六个公开可用数据集构建而成，包括Ethos、Anatomy of Online Hate、Benchmark Dataset for Learning to Intervene in Online Hate Speech、Automated Hate Speech Detection、HatEval以及Hate Towards the Political Opponent。该数据集创建于近年来，旨在为文本分类任务提供高质量的标注资源，核心研究问题聚焦于如何精准区分仇恨言论与非仇恨言论。其影响力在于整合了多元来源的样本，覆盖了不同语境下的仇恨表达，为自然语言处理领域中的仇恨言论检测研究奠定了坚实的数据基础，推动了相关模型性能的提升与泛化能力的增强。

当前挑战

该数据集所解决的领域问题是仇恨言论检测，其核心挑战在于仇恨言论的语义复杂性、语境依赖性以及边界模糊性，例如讽刺、隐晦表达或文化特定用语常被误判。此外，构建过程中面临多重挑战：首先，原始六个数据集在标注标准、数据格式和标签定义上存在差异，需进行细致的数据清洗与整合，以确保一致性；其次，去重操作虽减少了冗余，但可能遗漏了不同来源中语义相似但表述不同的样本；最后，通过分层抽样划分训练、验证和测试集（80/10/10）时，需维持各类别的均衡分布，以避免模型产生偏差，这一过程对数据的统计特性提出了严格要求。

常用场景

经典使用场景

在自然语言处理与计算社会科学的交叉领域，hate_speech_dataset_new数据集被广泛用于构建和评估仇恨言论检测模型。该数据集整合了六个公开资源，涵盖从政治对立到在线新闻评论等多源语境，为二分类任务（仇恨/非仇恨）提供了均衡且去重的高质量标注文本。研究者常基于其80/10/10的分割方案训练深度学习架构（如BERT、RoBERTa），以验证模型在不同数据分布下的泛化能力。

实际应用

在实际应用中，该数据集支撑了社交媒体平台（如Twitter、Facebook）的内容审核系统开发，帮助自动识别并标记针对种族、性别或政治立场的攻击性言论。此外，它被用于训练实时干预机制，例如在在线论坛中触发警告或隐藏有害评论。新闻机构也借助其构建编辑辅助工具，减少评论区仇恨内容的传播，从而营造更安全的网络交流环境。

衍生相关工作

基于该数据集，衍生出一系列经典工作，包括对仇恨言论检测模型可解释性的探索（如注意力可视化分析）和跨语言迁移学习研究。后续工作如《HateXplain》引入了标注解释机制，而《Counterfactual Hate Speech Detection》则利用该数据集的均衡分布进行反事实推理。此外，它作为基准促进了集成学习与对抗训练方法的创新，例如结合图神经网络捕捉社交文本中的上下文毒性模式。