community-datasets/hate_speech_pl

该数据集名为HateSpeechPl，主要用于分析波兰语中的仇恨言论识别。数据集来源于波兰的公共论坛，包含了针对少数群体的各种类型和程度的冒犯性语言。数据集最初以MySQL表的形式提供，后转换为CSV格式以便于使用。数据集支持的任务包括文本分类和情感分析，涉及的主题包括讽刺/挖苦、少数群体描述和话题分类等。数据集的结构包括多个字段，如文本ID、注释者ID、少数群体ID、负面情绪、行动号召、知识来源、讽刺/挖苦、话题、文本内容和评分等。数据集未进行原始分割，且不包含任何个人或敏感信息。

This dataset, named HateSpeechPl, is primarily designed for hate speech recognition analysis in the Polish language. It originates from Polish public forums and contains offensive language of various types and severity levels targeting minority groups. Initially provided in the form of MySQL tables, the dataset was later converted to CSV format for easier usage. Supported tasks include text classification and sentiment analysis, with covered topics such as sarcasm, minority group descriptions, topic classification, and others. The dataset structure includes multiple fields, such as text ID, annotator ID, minority group ID, negative sentiment, call to action, knowledge source, sarcasm, topic, text content, and rating, among others. The dataset has not been originally split, and does not contain any personal or sensitive information.

原始信息汇总

数据集概述

数据集描述

• 数据集名称: HateSpeechPl
• 语言: 波兰语
• 许可证: CC-BY-NC-SA-3.0
• 多语言性: 单语种
• 数据集大小: 10K<n<100K
• 源数据: 原始数据
• 任务类别: 文本分类
• 任务ID: 文本评分、多类别分类、多标签分类、情感分类、情感评分、主题分类

数据结构

数据实例

json { "id": 1, "text_id": 121713, "annotator_id": 1, "minority_id": 72, "negative_emotions": false, "call_to_action": false, "source_of_knowledge": 2, "irony_sarcasm": false, "topic": 18, "text": " <font color="blue"> Niemiec</font> mówi co innego", "rating": 0 }

数据字段

• id: 唯一标识符
• text_id: 文本标识符，用于区分不同注释者对同一文本的评分
• annotator_id: 注释者的标识符
• minority_id: 文本中描述的少数群体的内部标识符
• negative_emotions: 布尔值，表示文本中是否存在负面情绪
• call_to_action: 布尔值，表示文本是否号召观众采取行动
• source_of_knowledge: 分类变量，描述帖子评分的知识来源（0, 1 或 2）
• irony_sarcasm: 布尔值，表示文本中是否存在讽刺或挖苦
• topic: 文本主题的内部标识符
• text: 帖子文本内容
• rating: 整数值，从0到4，值越高表示文本内容越负面

数据分割

数据集未进行原始分割。

数据集创建

数据来源

数据集从公共论坛收集。

个人和敏感信息

数据集不包含任何个人或敏感信息。

使用数据的注意事项

数据集的社会影响

使用数据集的主要有益成果是自动识别仇恨言论。

偏见讨论

数据集仅包含负面帖子，可能无法全面代表整个语言。

其他已知限制

数据集仅供研究目的使用。请检查数据集许可证以获取更多信息。

附加信息

数据集创建者

数据集由Marek Troszyński和Aleksander Wawer创建。

许可证信息

数据集根据CC-BY-NC-SA许可证发布。

引用信息

plaintext @article{troszynski2017czy, title={Czy komputer rozpozna hejtera? Wykorzystanie uczenia maszynowego (ML) w jako{s}ciowej analizie danych}, author={Troszy{ }ski, Marek and Wawer, Aleksandra}, journal={Przegl{k{a}}d Socjologii Jako{s}ciowej}, volume={13}, number={2}, pages={62--80}, year={2017}, publisher={Uniwersytet {L}{o}dzki, Wydzia{l} Ekonomiczno-Socjologiczny, Katedra Socjologii~…} }

贡献

感谢@kacperlukawski添加此数据集。

搜集汇总

数据集介绍

构建方式

在自然语言处理与社会计算交叉领域中，仇恨言论的自动化识别已成为一项关键挑战。HateSpeechPl数据集正是为此而生，它聚焦于波兰语语境下的仇恨言论检测。该数据集由Marek Troszyński和Aleksander Wawer构建，原始数据源自波兰公共论坛，涵盖了针对少数群体的多种类型与程度的攻击性语言。构建过程中，专家对论坛帖子进行了精细的标注，每条文本由特定标注者评估，并记录了其是否包含负面情绪、是否呼吁行动、是否存在反讽或讽刺、以及所涉少数群体和主题等维度。原始数据以MySQL表形式存在，经转换为CSV格式以便于加载，最终形成包含13887条样本的训练集。

特点

该数据集在结构上展现出多维度的精细特征。每个样本不仅包含原始文本，还附带了丰富的标注信息：从布尔型指标（如负面情绪、呼吁行动、反讽讽刺）到类别型变量（如知识来源、主题、少数群体标识），再到0至4的评分等级（数值越高表示文本越负面）。这种多层次标注设计使得数据集不仅适用于传统的二分类仇恨检测，还能支撑情感评分、多分类、多标签分类乃至主题分类等多元任务。值得注意的是，数据集中于仅收录负面帖子，可能在语言代表性上存在偏差，但其针对性的语料构成恰恰强化了在仇恨言论检测场景下的实用价值。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载该数据集，使用默认配置即可获取训练集。该数据集主要服务于文本分类与评分任务：一方面，可利用其标注的布尔字段进行反讽识别、呼吁行动检测等二分类建模；另一方面，可基于评分字段构建情感强度回归或有序分类模型。此外，通过少数群体标识与主题字段，还能开展细粒度的群体针对性仇恨分析。使用时需注意，数据集包含HTML格式文本，预处理时可能需要去除标记；同时，由于所有样本均为负面内容，模型训练时应警惕潜在的分布偏移。数据集遵循CC-BY-NC-SA 3.0协议，仅限研究用途。

背景与挑战

背景概述

在社交媒体与网络论坛日益成为公共话语核心场域的当下，仇恨言论的自动识别已成为自然语言处理与社会计算领域的重要议题。HateSpeechPl数据集由波兰科学院计算机科学研究所的Marek Troszyński与Aleksander Wawer于2017年创建，旨在探索利用机器学习方法自动化识别波兰语仇恨言论的可行性。该数据集从波兰公共论坛中采集，聚焦于针对少数群体的攻击性语言，涵盖多种类型与程度的冒犯性表达，为波兰语仇恨言论检测研究提供了首个系统性标注资源。其核心研究问题在于如何通过多维度标注（如负面情绪、讽刺、行动号召等）实现细粒度的仇恨言论分类，从而推动低资源语言在该领域的研究进展。该数据集的发布不仅填补了波兰语仇恨言论语料的空白，也为跨语言比较分析奠定了重要基础。

当前挑战

HateSpeechPl数据集面临的挑战可从领域问题与构建过程两个维度加以审视。在领域问题层面，仇恨言论的边界模糊性构成核心难点：同一文本可能同时包含讽刺、负面情绪与行动号召，导致多标签分类任务中标签间的高度依赖与歧义性。此外，数据集仅包含负面内容，缺乏中性或正面样本，这使得模型难以学习完整的语言分布，易产生偏见。在构建过程中，原始数据以MySQL表格形式存储，转换与清洗工作繁重；注释流程涉及多位标注员对同一文本的独立评分，但标注员间一致性未得到充分验证，可能引入主观偏差。同时，HTML标签残留与不规范的论坛用语增加了文本预处理的复杂性，对模型的鲁棒性提出了更高要求。

常用场景

经典使用场景

HateSpeechPl数据集的核心应用场景聚焦于波兰语仇恨言论的自动化识别与分类。该数据集从波兰公共论坛中精心采集，涵盖了针对少数群体的多种类型与程度的攻击性语言。研究者通常利用其丰富的标注信息，如负面情绪、讽刺/反语、行动号召等布尔指标，以及主题和少数群体类别，开展多标签或多类别的文本分类任务。典型做法是基于文本内容预测仇恨言论的严重等级（0至4分），或检测其中是否包含特定冒犯性元素，从而构建针对波兰语环境的鲁棒性检测模型。

实际应用

在实际应用层面，HateSpeechPl数据集为波兰语社交媒体平台、新闻评论区及公共论坛的内容审核系统提供了关键训练数据。基于该数据集训练的模型可自动识别并标记仇恨言论，辅助人工审核团队高效处理海量用户生成内容，降低网络暴力与歧视性言论的传播风险。此外，该数据集还可用于开发面向教育机构或非政府组织的舆情监测工具，帮助及早发现针对少数群体的言语攻击趋势，支撑社会干预策略的制定。其标注结构中的讽刺与行动号召特征，尤其适用于识别隐性仇恨表达，提升审核系统的敏感度。

衍生相关工作

HateSpeechPl数据集催生了多项关于波兰语仇恨言论检测的经典研究工作。Troszyński与Wawer在其开创性论文中首次利用该数据集验证了机器学习方法（如支持向量机与随机森林）在波兰语仇恨言论分类中的可行性，奠定了该领域的实验基础。后续研究进一步探索了基于Transformer的预训练模型（如HerBERT、Polish RoBERTa）在该数据集上的微调策略，显著提升了讽刺检测与多标签分类的精度。此外，该数据集还常被用作跨语言迁移学习的评估基准，与英语、德语等仇恨言论语料库联合训练，验证多语言模型的泛化能力。