A Benchmark Dataset for Learning to Intervene in Online Hate Speech

为了鼓励对抗在线仇恨言论的策略，我们引入了一个新的生成式仇恨言论干预任务，并从Gab和Reddit收集了两个完全标记的数据集。与现有的仇恨言论数据集不同，我们的数据集保留了对话上下文并引入了人工编写的干预响应。由于我们的数据收集策略，我们数据集中的所有帖子都由Mechanical Turk工作者手动标记为仇恨或非仇恨言论，因此它们也可以用于仇恨言论检测任务。

To encourage strategies for combating online hate speech, we introduce a new generative hate speech intervention task and have collected two fully annotated datasets from Gab and Reddit. Unlike existing hate speech datasets, our datasets preserve conversational context and introduce human-authored intervention responses. Due to our data collection strategy, all posts in our datasets are manually labeled as hate or non-hate speech by Mechanical Turk workers, making them also suitable for hate speech detection tasks.

原始信息汇总

数据集概述

数据集名称

A Benchmark Dataset for Learning to Intervene in Online Hate Speech

数据集来源

• Gab
• Reddit

数据集特点

• 包含对话上下文
• 引入人工编写的干预响应
• 所有帖子由Mechanical Turk工作者手动标记为仇恨或非仇恨言论

数据集文件

• gab.csv
• reddit.csv

数据结构

字段	描述
id	对话段落中帖子的ID
text	对话段落中帖子的文本内容
hate_speech_idx	该对话中仇恨帖子的索引列表
response	人工编写的响应列表

数据集使用许可

• 根据Creative Commons Attribution-NonCommercial 4.0 International Public License授权

搜集汇总

数据集介绍

构建方式

在构建‘A Benchmark Dataset for Learning to Intervene in Online Hate Speech’数据集时，研究团队从Gab和Reddit两大社交平台收集了对话片段，并保留了完整的对话上下文。为了确保数据的准确性和可靠性，所有帖子均由Mechanical Turk工作人员手动标注为仇恨言论或非仇恨言论。此外，数据集还包含了由Mechanical Turk工作人员撰写的干预回应，这些回应旨在为生成式仇恨言论干预任务提供支持。数据集的构建策略不仅为仇恨言论检测任务提供了基础，还为研究如何有效干预在线仇恨言论提供了新的视角。

特点

该数据集的特点在于其独特的对话上下文保留机制和人工撰写的干预回应。与现有的仇恨言论数据集不同，该数据集不仅标注了仇恨言论，还提供了针对这些言论的干预策略。数据集中的每个对话片段都包含了详细的帖子文本、仇恨言论的索引列表以及人工撰写的回应列表。这种结构使得数据集不仅适用于仇恨言论检测任务，还为生成式干预任务提供了丰富的训练和测试材料。此外，数据集的多样性和高质量标注使其成为研究在线仇恨言论干预策略的重要资源。

使用方法

使用‘A Benchmark Dataset for Learning to Intervene in Online Hate Speech’数据集时，研究人员可以通过加载CSV文件（gab.csv和reddit.csv）来访问对话片段、仇恨言论标签以及干预回应。每个文件的数据结构一致，包含帖子ID、帖子文本、仇恨言论索引列表和回应列表。为了进一步丰富数据，研究人员可以利用Reddit API或Gab数据集中的元数据，通过帖子ID检索更多信息。该数据集的使用不仅限于仇恨言论检测，还可用于训练和评估生成式干预模型，为在线仇恨言论的干预策略研究提供支持。

背景与挑战

背景概述

随着网络社交平台的普及，网络仇恨言论问题日益严重，亟需有效的干预策略。为应对这一挑战，研究人员在2019年EMNLP会议上发布了名为'A Benchmark Dataset for Learning to Intervene in Online Hate Speech'的数据集。该数据集由Gab和Reddit平台上的对话数据构成，旨在支持生成式仇恨言论干预任务的研究。与现有仇恨言论数据集不同，该数据集不仅保留了对话的上下文语境，还引入了由Mechanical Turk工作者撰写的人工干预回复。数据集的核心研究问题在于如何通过生成式方法有效干预网络仇恨言论，同时也可用于仇恨言论检测任务。该数据集的发布为相关领域的研究提供了重要的数据支持，推动了网络仇恨言论干预技术的发展。

当前挑战

该数据集在构建和应用过程中面临多重挑战。首先，网络仇恨言论的界定具有主观性和复杂性，如何确保标注的一致性和准确性成为关键问题。尽管Mechanical Turk工作者对数据进行了人工标注，但不同标注者之间的理解差异可能导致标签的不一致。其次，生成式干预任务要求模型能够理解对话上下文并生成合适的回复，这对模型的语义理解和生成能力提出了较高要求。此外，数据集的构建依赖于特定平台（如Gab和Reddit）的数据，这些平台的用户群体和语言风格可能限制了数据集的泛化能力。最后，由于数据涉及敏感内容，如何在研究过程中保护用户隐私和数据安全也是不可忽视的挑战。

常用场景

经典使用场景

在在线社交媒体平台中，仇恨言论的检测与干预已成为一个重要的研究领域。该数据集通过提供来自Gab和Reddit的对话片段及其对应的仇恨言论标签，以及人工撰写的干预响应，为研究者提供了一个独特的资源。经典的使用场景包括训练和评估生成式仇恨言论干预模型，以及进行仇恨言论检测任务。

实际应用

在实际应用中，该数据集可用于开发自动化系统，以实时检测和干预在线平台上的仇恨言论。这些系统可以帮助社交媒体平台减少仇恨言论的传播，营造更加健康的在线环境。此外，该数据集还可用于培训内容审核人员，提高他们对仇恨言论的识别和应对能力。

衍生相关工作

基于该数据集，研究者们已经开展了多项经典工作。例如，一些研究利用该数据集开发了生成式干预模型，能够在对话中自动生成有效的干预响应。另一些研究则专注于仇恨言论检测算法的优化，利用数据集中的标签信息提高了检测的准确性和鲁棒性。这些工作不仅推动了在线仇恨言论干预领域的发展，也为社交媒体平台的实际应用提供了技术支持。