CREHate

CREHate是一个跨文化的英语仇恨言论数据集，由韩国科学技术院创建，包含来自澳大利亚、英国、新加坡、美国和南非的1580条在线帖子。数据集通过收集来自不同国家的帖子并进行跨文化标注构建，旨在解决单一语言内部文化多样性被忽视的问题。数据集的应用领域包括仇恨言论检测和分析，以及提高全球平台上的内容审核效率。CREHate is a cross-cultural English hate speech dataset created by the Korea Advanced Institute of Science and Technology. It contains 1,580 online posts sourced from Australia, the United Kingdom, Singapore, the United States and South Africa. Constructed by collecting posts from diverse countries and conducting cross-cultural annotation, this dataset aims to address the issue of overlooked cultural diversity within a single language. Its application fields include hate speech detection and analysis, as well as improving the efficiency of content moderation on global platforms.

搜集汇总

数据集介绍

构建方式

在构建CREHate数据集时，研究者首先从SBIC数据集中采样了980条帖子，这些帖子主要反映北美视角。随后，通过问卷调查从澳大利亚、英国、新加坡和南非四个国家收集了具有文化特异性的仇恨关键词，并基于这些关键词从YouTube和Reddit平台抓取了600条帖子。最终，招募来自五个英语国家的标注者对全部1580条帖子进行跨文化标注，每个国家至少五名标注者，通过多数投票确定每个国家的代表性标签。

特点

CREHate数据集的核心特点在于其跨文化维度，涵盖了澳大利亚、英国、新加坡、美国和南非五个英语国家的标注视角。统计分析显示，仅有56.2%的帖子在所有国家间达成一致，平均成对标签差异率高达26%。定性分析表明，标注分歧主要源于对讽刺的不同理解以及标注者在争议性话题上的个人偏见。此外，该数据集还揭示了大型语言模型在仇恨言论分类中对核心英语国家标签的准确率更高，凸显了文化偏差的存在。

使用方法

CREHate数据集可用于评估和提升仇恨言论检测模型的文化敏感性。研究者可利用该数据集的五国标签进行跨文化标注差异分析，训练能够适应不同文化背景的分类器。例如，通过多标签学习或多任务学习框架，模型可以同时学习多个国家的标注视角。此外，该数据集还可用于零样本设置下评估大型语言模型，测试其在特定国家背景下进行仇恨言论分类的能力，从而推动开发更具文化包容性的自动化内容审核系统。

背景与挑战

背景概述

仇恨言论检测作为自然语言处理领域的重要议题，其主观性深受标注者文化背景的影响。然而，现有英语仇恨言论数据集多聚焦于北美视角，忽视了英语作为全球性语言所蕴含的丰富文化多样性。为填补这一空白，韩国科学技术院（KAIST）与卡迪夫大学的研究人员于2023年共同构建了CREHate数据集。该数据集旨在系统探究文化差异如何影响仇恨言论的标注与理解，通过收集来自澳大利亚、英国、新加坡、南非和美国五个英语国家的1580条在线帖子，并招募各国标注者进行跨文化标注，为理解文化背景在仇恨言论感知中的作用提供了独特视角。CREHate的发布不仅揭示了仅56.2%的帖子获得五国一致标注的显著文化分歧，更推动了学界对跨文化自然语言处理研究的重视，成为该领域具有里程碑意义的资源。

当前挑战

CREHate数据集面临的核心挑战在于解决仇恨言论检测中跨文化差异带来的标注不一致问题。具体而言，不同国家的标注者对同一帖子的仇恨性判断存在显著分歧，平均仅有78.8%的成对国家标注一致性，且新加坡与南非的标注一致性低至74.0%。这种分歧主要源于对讽刺的不同解读以及标注者在争议性话题上的个人偏见，导致模型训练面临标签噪声与标准不统一的困境。此外，数据集构建过程中也遭遇多重挑战：需要从五个国家收集具有文化特异性的仇恨关键词以获取代表性帖子，同时确保各平台（如Reddit、YouTube）的帖子来源平衡；招募并管理来自不同国家的1061名标注者，保证其国籍与居住地匹配，并克服不同众包平台（如Prolific、MTurk）的标注质量差异，最终形成高质量的跨文化标注结果。

常用场景

经典使用场景

在仇恨言论检测领域，现有数据集往往忽略同一语言内部的文化多样性，导致模型泛化能力受限。CREHate数据集应运而生，其经典使用场景在于构建跨文化仇恨言论标注基准，通过收集来自澳大利亚、英国、新加坡、美国和南非五个英语国家的帖子及标注，为研究者提供分析文化背景如何影响仇恨言论感知的标准化平台。该数据集特别适用于探究不同国家间对同一帖子标注差异的显著性，例如仅56.2%的帖子获得五国一致标注，从而成为评估文化偏见的关键工具。

实际应用

在实际应用中，CREHate数据集为全球社交媒体平台的内容审核系统提供了文化适应性改进的参考。当前大型语言模型（如GPT-4）在核心英语圈国家标签上表现更佳，但对新加坡等非核心国家标签准确率较低，且难以根据目标国家进行文化特定预测。该数据集可用于训练跨文化仇恨言论分类器，通过多标签学习或多任务学习提升模型对不同文化语境的适应能力，从而减少误判，促进更包容的在线交流环境。

衍生相关工作

CREHate数据集催生了多项相关研究工作，包括利用多标签学习（Multi-labeling）、多任务学习（Multi-task Learning）和文化标签（Culture Tagging）等方法训练跨文化仇恨言论分类器的探索。实验表明，这些方法相比单一文化训练模型，宏F1分数提升高达8.2%。此外，该数据集推动了文化距离指数与标注一致性关系的量化分析，并启发了对LLMs在文化特定仇恨言论分类中局限性的评估，为后续构建更广泛文化覆盖的数据集和开发文化敏感算法奠定了方法论基础。