hate-speech-portuguese/hate_speech_portuguese

该数据集名为HateSpeechPortuguese，主要用于葡萄牙语的仇恨言论检测。数据集包含5,668条推文，每条推文都有二元标注（即hate vs. no-hate）。数据集的特征包括文本内容、标签、以及三个不同组别的仇恨言论标注和对应的标注者信息。数据集的结构包括训练集，包含5,670个样本，总大小为826,130字节。

This dataset, designated as HateSpeechPortuguese, is primarily developed for Portuguese hate speech detection tasks. It comprises 5,668 tweets, each annotated with a binary label (hate vs. no-hate). The dataset features include the text content, the annotation label, hate speech annotations from three distinct groups, and corresponding annotator information. The dataset structure contains a training set with 5,670 samples, and the total size of the dataset is 826,130 bytes.

原始信息汇总

数据集概述

数据集描述

• 数据集名称: HateSpeechPortuguese
• 数据集摘要: 葡萄牙语的仇恨言论检测数据集，包含5,668条推文，具有二元标注（即hate和no-hate）。
• 任务类别: 文本分类
• 语言: 葡萄牙语
• 多语言性: 单语种
• 数据集大小: 1K<n<10K
• 源数据: 原始数据
• 标注创建者: 专家生成
• 语言创建者: 发现
• 许可证: 未知

数据集结构

数据字段

• text: 字符串类型，文本内容
• label: 类别标签类型，包含两个类别：
  • 0: no-hate
  • 1: hate
• hatespeech_G1: 字符串类型
• annotator_G1: 字符串类型
• hatespeech_G2: 字符串类型
• annotator_G2: 字符串类型
• hatespeech_G3: 字符串类型
• annotator_G3: 字符串类型

数据分割

• train: 训练集，包含5670个样本，数据大小为826130字节

数据集创建

数据集大小

• 下载大小: 763846字节
• 数据集大小: 826130字节

引用信息

bibtex @inproceedings{fortuna-etal-2019-hierarchically, title = "A Hierarchically-Labeled {P}ortuguese Hate Speech Dataset", author = "Fortuna, Paula and Rocha da Silva, Jo{~a}o and Soler-Company, Juan and Wanner, Leo and Nunes, S{e}rgio", editor = "Roberts, Sarah T. and Tetreault, Joel and Prabhakaran, Vinodkumar and Waseem, Zeerak", booktitle = "Proceedings of the Third Workshop on Abusive Language Online", month = aug, year = "2019", address = "Florence, Italy", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/W19-3510", doi = "10.18653/v1/W19-3510", pages = "94--104", }

搜集汇总

数据集介绍

构建方式

在仇恨言论检测这一关键的自然语言处理任务中，高质量的数据集是模型训练与评估的基石。hate-speech-portuguese/hate_speech_portuguese数据集由专家精心构建，源数据来源于社交媒体平台，经过严格的筛选与标准化处理。数据集包含5,668条葡萄牙语推文，每条推文由三位独立标注者进行二元分类（仇恨言论与非仇恨言论），并记录了每位标注者的具体判断结果，确保了标注的可靠性与多样性。这种多标注者机制有效降低了单一标注的主观偏差，为后续研究提供了多视角的标注参考。

特点

该数据集的核心特点在于其精细化的标注结构与高质量的数据来源。每条样本不仅包含文本与最终标签，还附带三位标注者的独立判断（hatespeech_G1至hatespeech_G3）及其身份标识（annotator_G1至annotator_G3），这一设计使得研究者能够深入分析标注一致性、探索标注者间的分歧模式。数据集规模适中（5,670条训练样本），兼顾了模型训练的充分性与计算资源的可行性。此外，数据来源于真实的社交媒体环境，反映了自然语言中仇恨言论的复杂性与多样性，具有较高的生态效度。

使用方法

该数据集主要面向文本分类任务，尤其是仇恨言论检测。研究者可直接使用预定义的训练集（train）进行模型训练，利用'text'字段作为输入特征，'label'字段作为目标标签。由于数据集提供了多标注者信息，用户还可开展标注质量评估、分歧分析或构建软标签模型等进阶研究。数据集以HuggingFace Datasets库的标准格式存储，可通过简单调用加载，便于集成到现有的深度学习工作流中。推荐结合交叉验证或留出法划分验证集，以全面评估模型性能。

背景与挑战

背景概述

在社交媒体蓬勃发展的时代，仇恨言论的自动检测已成为自然语言处理领域的关键议题，尤其对于非英语语言而言，相关资源的匮乏构成了显著障碍。在此背景下，Paula Fortuna、João Rocha da Silva、Juan Soler-Company、Leo Wanner与Sérgio Nunes等研究人员于2019年构建并发布了hate-speech-portuguese/hate_speech_portuguese数据集，其核心论文发表于ACL第三届在线滥用语言研讨会。该数据集专注于葡萄牙语仇恨言论识别，由5668条推特文本组成，采用二元标注体系（即‘仇恨’与‘非仇恨’），旨在为葡萄牙语社区的言论治理提供标准化的训练与评估基准。作为葡萄牙语领域较早的原创性标注资源，该数据集的问世填补了低资源语言仇恨检测研究的空白，推动了跨语言仇恨言论分析方法的探索，并对巴西、葡萄牙等葡语国家的网络内容审核实践产生了深远影响。

当前挑战

该数据集所解决的领域挑战主要体现为葡萄牙语仇恨言论自动分类的准确性难题。由于仇恨言论常以隐喻、讽刺或文化特定表达形式出现，模型需在有限标注样本（仅约5600条）中捕捉语义细微差别，避免将批评或争议性讨论误判为仇恨，同时确保对种族、性别等敏感议题的公平性。在构建过程中，挑战则集中于标注一致性与歧义处理：数据集采用多组标注者（G1、G2、G3）独立标注，但不同标注者间对‘仇恨’边界的认知差异（如政治讽刺与人身攻击的界定）导致标注冲突，需通过额外字段记录分歧；此外，推特文本的短篇幅与口语化特征（如缩略语、表情符号）增加了上下文理解的难度，迫使研究者设计层级化标注策略以平衡细粒度与可靠性，最终形成包含原始标注与仲裁结果的复杂结构，这对下游模型训练的数据预处理提出了额外要求。

常用场景

经典使用场景

hate-speech-portuguese/hate_speech_portuguese 数据集由5,668条经过专家标注的葡萄牙语推文构成，每条推文被二分类为“仇恨言论”或“非仇恨言论”。该数据集最经典的使用场景是作为葡萄牙语仇恨言论检测模型的基准训练与评估语料。研究者通常基于此数据集构建文本分类器，利用其提供的文本与标签对进行监督学习，以训练能够自动识别社交媒体中仇恨言论的模型。由于数据来源于真实推文且标注严谨，它成为葡萄牙语自然语言处理领域验证分类算法有效性的标准测试平台。

解决学术问题

该数据集的核心学术价值在于解决了葡萄牙语仇恨言论检测研究中高质量标注数据匮乏的瓶颈问题。在自然语言处理领域，仇恨言论自动识别是计算社会学与语言技术交叉的前沿方向，但多数研究聚焦于英语资源。该数据集的发布填补了罗曼语族中葡萄牙语资源的空白，为跨语言仇恨言论检测的对比研究提供了基础。通过提供多角度标注（三位独立标注者及其一致性判断），它支持了标注者间信度分析、标签噪声研究以及层次化分类模型的探索，推动了多语言仇恨言论检测领域的理论发展。

衍生相关工作

围绕该数据集衍生了一系列经典工作，包括基于层次化标注结构的葡萄牙语仇恨言论分类研究（Fortuna et al., 2019），该工作首次提出了多粒度标签体系。后续研究利用该数据集探索了预训练语言模型（如BERTimbau）在葡萄牙语仇恨检测中的微调策略，并比较了不同神经网络架构（如LSTM与Transformer）的性能差异。此外，该数据集还被用于对抗性攻击测试，评估模型对拼写变体或隐晦仇恨表达的鲁棒性，以及作为多任务学习框架中联合识别仇恨言论与攻击性语言的基准数据。这些工作共同丰富了低资源语言仇恨检测的技术生态。