humane-lab/K-HATERS

K-HATERS是一个用于韩语仇恨言论检测的新语料库，包含约192K新闻评论，并带有目标特定的冒犯性评分。数据集由184,117条自行收集的新闻评论和8,041条来自先前研究的评论组成。所有评论均通过SELECTSTAR运营的众包服务CashMission进行标注。数据集支持多种任务，包括仇恨言论检测、多类分类、二元分类和理由预测。数据集分为训练集、验证集和测试集，标签比例保持分层。数据集的收集、语言多样性、说话者和标注者的人口统计信息、演讲情境和文本特征均有详细描述。数据集采用CC-BY 4.0许可证，并提供了引用信息。

原始信息汇总

数据集概述

K-HATERS 是一个针对韩语（ko）的仇恨言论检测数据集，包含约192,000条新闻评论，并附有针对特定目标的攻击性评分。该数据集由184,117条自行收集的新闻评论和8,041条来自先前研究的评论组成。数据收集自2021年两个月的Naver新闻的政治、社会和世界新闻版块。

支持的任务

• 仇恨言论检测
  • 多类分类（标签：正常、攻击性、L1_hate、L2_hate）
  • 二元分类（标签：正常、有毒（攻击性、L1_hate、L2_hate））
  • 理由预测（攻击性、目标理由）

数据描述

• 标签（label）：
  • L2_hate：针对保护属性群体（如性别、年龄、种族等）的明确仇恨表达。
  • L1_hate：更隐晦的仇恨表达。
  • 攻击性：表达攻击性但不针对保护属性群体。
  • 正常：其他评论。
• 目标标签（target_label）：多标签目标类别，列表形式，评论可以有零个或多个目标。
  • 目标类别列表：性别、年龄、种族、宗教、政治、职业、残疾、个人、其他。
• 攻击性理由（offensiveness_rationale）：注释者对评分强度的理由列表，包括高亮跨度的起始和结束索引。
• 目标理由（target_rationale）：注释者对攻击性目标的理由。

数据集分割

数据集分为训练集172,158条，验证集10,000条，测试集10,000条，标签比例保持（分层分割）。

标签指南

标签指南作为SELECTSTAR开放数据集的一部分提供（韩语）。

许可证

该数据集遵循CC-BY 4.0许可证，使用时需提供适当的归属（例如引用我们的论文）。

引用信息

@article{park2023haters, title={K-HATERS: A Hate Speech Detection Corpus in Korean with Target-Specific Ratings}, author={Park, Chaewon and Kim, Suhwan and Park, Kyubyong and Park, Kunwoo}, journal={Findings of the EMNLP 2023}, year={2023} }

搜集汇总

数据集介绍

构建方式

在仇恨言论检测领域，构建高质量标注数据集对于模型训练至关重要。K-HATERS数据集的构建过程体现了严谨的学术规范，其语料主要源自韩国最大新闻门户Naver的新闻评论区，聚焦于政治、社会和国际新闻等硬新闻板块，这些板块通常包含更具争议性的讨论。数据采集时间跨度为2021年7月至8月，最终整合了约19.2万条新闻评论，其中包含自主收集的18.4万余条以及从先前研究中引入的约8000条。所有注释工作均通过专业的众包平台SELECTSTAR旗下的CashMission服务完成，共有405名不同年龄段的标注者参与，确保了标注过程的规模化和多样性。

特点

该数据集在仇恨言论检测任务中展现出鲜明的特色。其标注体系设计精细，不仅包含“正常”、“冒犯性”、“L1仇恨”和“L2仇恨”四级分类，还支持将后三类合并为“有毒”言论的二元分类。更为突出的是，数据集提供了目标特定的冒犯性评级，标注了包括性别、年龄、种族、宗教、政治等九类目标属性，且一条评论可能对应多个目标。此外，数据集创新性地包含了标注者提供的理性依据，即针对冒犯性强度和目标判定的文本片段索引，这为模型的可解释性研究提供了宝贵资源。

使用方法

为便于研究与应用，数据集已预先划分为训练集、验证集和测试集，分别包含172,158条、10,000条和10,000条数据，并在划分时保持了标签分布的平衡。使用者可直接加载数据集进行多类别或二元仇恨言论分类任务，亦可利用其提供的目标标签和理性依据索引，开展更细粒度的目标定向仇恨分析或模型决策过程的可解释性研究。数据以标准格式存储，每条数据均包含评论文本、分类标签、目标标签列表以及两套理性依据的索引范围，确保了使用的便捷性。

背景与挑战

背景概述

随着社交媒体和在线新闻评论的普及，韩语环境中的仇恨言论检测成为自然语言处理领域的重要研究方向。为应对这一挑战，研究团队于2023年发布了K-HATERS数据集，该数据集由Chaewon Park、Suhwan Kim、Kyubyong Park和Kunwoo Park等研究人员共同构建，并在EMNLP 2023 Findings中正式发表。该数据集聚焦于韩语新闻评论中的仇恨言论识别，核心研究问题在于精准分类不同层级的冒犯性内容，包括显性仇恨、隐性仇恨、冒犯性言论及正常言论，并标注特定目标群体。K-HATERS的推出显著丰富了韩语自然语言处理资源，为多语言仇恨言论检测模型的发展提供了关键数据支持，推动了相关领域在跨文化语境下的技术进步。

当前挑战

K-HATERS数据集致力于解决韩语仇恨言论检测的领域挑战，包括区分隐性与显性仇恨表达的细微差异，以及处理多目标冒犯性评论的复杂分类问题。在构建过程中，研究人员面临数据收集与标注的多重困难：从Naver新闻门户获取的原始评论需覆盖政治、社会等硬新闻板块，以确保内容的争议性和代表性；同时，通过众包平台SELECTSTAR进行标注时，需协调405名不同年龄段的标注者，统一遵循细致的标注指南，以保障标签的一致性与可靠性。此外，数据集中包含的韩国特定仇恨词汇，如政治倾向或群体相关术语，增加了语境理解和模型泛化的难度。

常用场景

经典使用场景

在自然语言处理领域，韩语仇恨言论检测研究长期面临数据稀缺的挑战，K-HATERS数据集的推出为此提供了关键资源。该数据集最经典的使用场景是作为韩语仇恨言论检测模型的训练与评估基准。研究者利用其近19.2万条带有细粒度标注的新闻评论，构建多分类或二分类模型，以区分“正常”、“冒犯性”、“L1仇恨”和“L2仇恨”等不同等级的恶意语言。其独特的标注体系，包括目标类别和注释者理由，使得模型不仅能识别仇恨言论的存在，更能理解其攻击的具体目标和表达方式，为算法提供了深层次的学习信号。

解决学术问题

K-HATERS数据集有效解决了韩语环境下仇恨言论检测研究中的若干核心学术问题。首先，它填补了大规模、高质量韩语仇恨言论语料的空白，为模型训练提供了坚实基础。其次，其精细的层级标签（L1/L2仇恨）有助于学术界探究隐性与显性仇恨表达的差异及其检测难点。再者，数据集提供的目标类别（如性别、政治、种族等）和理由标注，推动了对仇恨言论目标识别与可解释性分析的研究，使得研究焦点从简单的存在性判断转向更复杂的语义与意图理解，提升了该领域研究的深度与广度。

衍生相关工作

自K-HATERS数据集发布以来，已衍生出多项相关经典研究工作。一方面，研究者以其为基础，开发了更先进的韩语仇恨言论检测模型，这些工作通常发表于EMNLP、ACL等顶级会议，推动了检测精度的提升。另一方面，数据集独特的“理由标注”特性催生了针对仇恨言论可解释性分析的新方向，学者们利用这些标注训练模型，以生成或定位文本中构成仇恨的关键片段。此外，围绕数据集中“目标特定攻击”的标注，也激发了关于多目标仇恨言论识别与细粒度分类的研究，进一步拓展了仇恨言论分析的技术边界。