SJ-Donald/kor-hate-sentence

SJ-Donald/kor-hate-sentence数据集是一个合并了多个韩语仇恨言论相关数据集的集合，包括smilegate-ai/kor_unsmile、korean-hate-speech、Curse-detection-data和korean-malicious-comments-dataset。合并后的数据集去除了重复项，包含训练集和测试集，分别有29328和7333行数据。每个数据样本包含문장（句子）、hate（仇恨）、clean（干净）和labels（标签）四个特征。

The SJ-Donald/kor-hate-sentence dataset is a consolidated collection of multiple Korean hate speech-related datasets, encompassing smilegate-ai/kor_unsmile, korean-hate-speech, Curse-detection-data, and korean-malicious-comments-dataset. After removing duplicate entries, the consolidated dataset is split into a training set and a test set, with 29,328 and 7,333 rows of data respectively. Each data sample comprises four features: Sentence, hate, clean, and labels.

原始信息汇总

SJ-Donald/kor-hate-sentence

数据集概述

SJ-Donald/kor-hate-sentence 是一个合并的数据集，来源于以下数据集：

• smilegate-ai/kor_unsmile
• korean-hate-speech
• Curse-detection-data
• korean-malicious-comments-dataset

该数据集通过合并上述数据集并去除重复项得到。

数据集结构

数据集包含训练集和测试集：

• 训练集：包含29328条数据，特征包括[문장, hate, clean, labels]。
• 测试集：包含7333条数据，特征包括[문장, hate, clean, labels]。

使用方法

Python from datasets import load_dataset

ds = load_dataset("SJ-Donald/kor-hate-sentence") print(ds)

搜集汇总

数据集介绍

构建方式

在韩国社会语境下，网络仇恨言论的识别与治理已成为自然语言处理领域的重要课题。SJ-Donald/kor-hate-sentence数据集正是针对这一需求，通过整合多个公开的韩语仇恨言论语料库构建而成。具体而言，该数据集融合了smilegate-ai/kor_unsmile、korean-hate-speech、Curse-detection-data以及korean-malicious-comments-dataset等四个来源的语料，在合并过程中对重复样本进行了去重处理，最终形成了包含约2.9万条训练样本和7千余条测试样本的高质量数据集。

特点

该数据集的核心特点在于其多源融合的构建策略，有效提升了语料的覆盖广度与多样性。数据集中每条样本均包含原始文本（문장）、仇恨标签（hate）、纯净标签（clean）以及细粒度标签（labels）四个字段，为多角度分析仇恨言论提供了结构化支持。训练集与测试集按照约4:1的比例划分，确保了模型评估的可靠性。此外，数据集采用CC-BY-SA-4.0许可协议发布，便于学术研究与非商业用途的二次开发。

使用方法

使用者可通过HuggingFace的datasets库便捷加载该数据集。调用load_dataset('SJ-Donald/kor-hate-sentence')即可获取包含训练集和测试集的DatasetDict对象。数据集的四个特征字段可直接用于文本分类任务的模型训练与评估，其中'hate'和'clean'字段适用于二分类场景，而'labels'字段则支持更细粒度的多标签分类研究。建议使用者根据具体任务需求选择合适的标签字段，并注意数据集的韩语特性以确保预处理步骤的适配性。

背景与挑战

背景概述

在自然语言处理领域，仇恨言论检测作为一项关键的社会责任技术，近年来受到广泛关注。韩国作为互联网高度普及的国家，其社交平台上充斥着大量恶意评论与歧视性语言，这催生了针对韩语仇恨语句数据集的需求。SJ-Donald/kor-hate-sentence数据集由研究者SJ-Donald于2023年构建，整合了smilegate-ai的Kor_UnSmile、Kocohub的Korean-Hate-Speech、Curse-detection-data以及Korean-Malicious-Comments-Dataset等多个公开资源，通过去重处理形成统一标注的韩语仇恨语句集合。该数据集的核心研究问题在于提升韩语环境下仇恨言论的自动识别能力，为社交媒体内容审核、网络暴力防治等应用提供基准资源。其影响力体现在为韩语NLP社区提供了一个规模适中、标签统一的训练与评估基准，推动了多源数据融合方法的探索。

当前挑战

该数据集面临的挑战首先在于领域问题的复杂性：仇恨言论的界定具有主观性，不同文化背景下对冒犯性语言的判断标准存在差异，尤其是韩语中敬语体系与口语化表达的混杂，使得模型需兼顾语义与语用层面的细微区别。其次，构建过程中存在显著困难：整合多个来源的数据时，各原始数据集标注体系不一致（如二元分类与多标签标注的差异），去重操作可能丢失语境多样性；同时，部分原始数据（如恶意评论数据集）存在样本分布不均衡问题，导致合并后的数据集中正常语句与仇恨语句的比例失衡。此外，数据集仅包含语句级标注，缺乏上下文（如对话历史或用户画像），限制了模型对隐性仇恨、反讽等复杂现象的捕捉能力。

常用场景

经典使用场景

在自然语言处理领域，仇恨言论检测是维护网络空间清朗的重要课题。SJ-Donald/kor-hate-sentence数据集融合了多个韩语仇恨言论语料库，经过去重处理后形成高质量的标注数据。其经典使用场景在于训练韩语仇恨言论分类模型，通过监督学习对文本进行二元或多标签分类，区分正常表达与包含仇恨、歧视或攻击性的言论，为韩语社交媒体的内容审核提供基础支撑。

解决学术问题

该数据集有效解决了韩语仇恨言论研究中数据分散、标注标准不一的核心难题。通过整合smilegate-ai/kor_unsmile、korean-hate-speech等多个开源资源，构建了规模达数万条的统一标注样本，为跨语料库的模型泛化能力研究提供了标准化基准。其意义在于推动了韩语网络暴力自动检测的学术进展，促使研究者聚焦于细粒度仇恨类别识别、语境敏感判别等前沿问题，显著提升了相关任务的评估可靠性。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于Transformer架构的韩语仇恨言论微调模型（如BERT-multilingual、KoELECTRA），以及融合情感分析的多任务学习框架。研究者还利用该数据探索了跨语言迁移学习，将其作为韩语基准与英语仇恨数据集进行对比分析。此外，数据集的公开促进了可解释性研究，催生了注意力可视化、对抗样本生成等方向的工作，为模型鲁棒性提升提供了实验基础。