SEACrowd/id_hatespeech

ID Hatespeech数据集是一个包含713条与2017年雅加达省长选举相关的推文的集合，专门用于仇恨言论检测的自然语言处理任务。该数据集从Twitter上爬取，并经过手动过滤和标注。每条推文被标注为包含仇恨言论（HS）或不包含仇恨言论（Non_HS）。

The ID Hatespeech Dataset is a collection of 713 Tweets related to the 2017 Jakarta gubernatorial election, specifically designed for natural language processing tasks focused on hate speech detection. This dataset was crawled from Twitter and underwent manual filtering and annotation. Each Tweet is labeled as either containing hate speech (HS) or non-hate speech (Non_HS).

原始信息汇总

数据集概述

数据集名称

Id Hatespeech

语言

印尼语 (ind)

任务类别

情感分析 (sentiment-analysis)

数据集描述

ID Hatespeech 数据集是与2017年雅加达州长选举政治事件相关的713条推文的集合，旨在用于仇恨言论检测的自然语言处理任务。该数据集从Twitter上爬取，经过手动筛选和标注。数据集被标记为两类：HS（如果推文包含仇恨言论）和Non_HS（否则）。

支持的任务

情感分析

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

未知

引用

如果您在使用 Id Hatespeech 数据集，请引用以下内容：

@inproceedings{inproceedings, author = {Alfina, Ika and Mulia, Rio and Fanany, Mohamad Ivan and Ekanata, Yudo}, year = {2017}, month = {10}, pages = {}, title = {Hate Speech Detection in the Indonesian Language: A Dataset and Preliminary Study}, doi = {10.1109/ICACSIS.2017.8355039} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在社交媒体与政治传播交叉研究的背景下，仇恨言论检测成为自然语言处理领域的重要课题。ID Hatespeech数据集专为此任务而构建，其原始数据源自Twitter平台，围绕2017年雅加达省长选举这一特定政治事件进行采集。共计713条推文经由爬虫技术获取后，经历了严格的过滤与人工标注流程。每一条推文被二分类为“HS”（包含仇恨言论）或“Non_HS”（不包含仇恨言论），从而为印尼语环境下的仇恨言论自动识别提供了高质量的标注语料。

使用方法

研究者可通过HuggingFace的datasets库便捷加载该数据集，仅需一行代码即可完成调用。同时，SEACrowd库也提供了兼容接口，支持以默认配置或特定子集名称加载数据。用户可查阅SEACrowd官方文档获取更详细的加载指南。该数据集适用于情感分析、仇恨言论检测等监督学习任务，加载后可直接用于模型训练、验证或测试，无需额外预处理步骤。

背景与挑战

背景概述

在自然语言处理领域，仇恨言论检测作为情感分析的一项关键子任务，对于维护网络空间的健康生态具有重要意义。印度尼西亚作为东南亚语言资源相对匮乏的国家，其政治语境下的仇恨言论识别尤为迫切。为此，Ika Alfina等研究人员于2017年创建了ID Hatespeech数据集，该数据集聚焦于2017年雅加达省长选举这一政治事件，从Twitter平台爬取并经过人工筛选与标注，最终包含713条推文，每条推文被标注为包含仇恨言论（HS）或不包含仇恨言论（Non_HS）。该数据集不仅为印度尼西亚语的仇恨言论检测研究提供了首个标准化基准，也推动了低资源语言在社交网络内容审核领域的研究进展，其影响力在后续的SEACrowd多语言数据枢纽项目中得到进一步延续与扩展。

当前挑战

ID Hatespeech数据集所面临的挑战主要体现在两方面。首先，在领域问题层面，仇恨言论检测本身的模糊性与社会文化依赖性构成了核心难点，同一表达在不同语境下可能具有截然不同的情感倾向，且政治选举相关的仇恨言论往往涉及复杂的隐喻与讽刺，使得模型难以从有限的文本特征中精准捕捉意图。其次，在数据集构建过程中，数据的规模与代表性存在显著局限：713条推文的数量对于深度学习模型而言相对不足，且数据采集仅局限于单一政治事件，导致样本的领域覆盖度有限；此外，人工标注的主观性可能引入标签噪声，而Twitter平台文本的短文本特性与口语化表达进一步增加了特征提取的难度，这些因素共同制约了数据集在跨领域迁移与鲁棒性评估上的应用潜力。

常用场景

经典使用场景

在自然语言处理领域，仇恨言论检测是一项极具挑战性的任务，尤其对于资源稀缺的语言如印度尼西亚语而言。SEACrowd/id_hatespeech数据集应运而生，它聚焦于2017年雅加达省长选举这一政治事件，精心收集并标注了713条推特文本，每条数据被明确划分为包含仇恨言论（HS）或不包含仇恨言论（Non_HS）。该数据集最经典的使用场景是作为印尼语仇恨言论检测的基准测试集，研究者可借此训练和评估基于机器学习的分类模型，例如支持向量机、随机森林或近年流行的深度学习架构如BERT，从而推动该语言环境下自动化内容审核技术的发展。

解决学术问题

该数据集有效解决了印尼语领域仇恨言论检测研究中标注数据匮乏的学术难题。在政治敏感事件中，仇恨言论往往以隐晦的语言形式出现，缺乏标准化的语料库使得模型泛化能力受限。SEACrowd/id_hatespeech通过提供经过人工严格筛选和标注的推文，为研究者构建了可靠的实验平台，助力探索语言特征提取、类别不平衡处理、跨领域迁移学习等核心问题。其意义在于填补了东南亚语言在社交网络有害内容识别方面的空白，为后续研究提供了可复现的基准，并推动了多语言仇恨言论检测理论的拓展。

实际应用

在实际应用中，SEACrowd/id_hatespeech数据集为社交媒体平台的内容审核系统提供了关键支撑。通过训练基于该数据集的分类模型，平台能够自动识别选举等政治议题中潜在的仇恨言论，从而实现快速预警与干预，维护网络空间的清朗环境。此外，该数据集还可用于开发面向印尼语用户的社区管理工具，帮助非政府组织或政府机构监测舆情风险，减少因仇恨言论引发的社会冲突。在新闻媒体领域，它也能辅助编辑团队过滤评论区的不当内容，提升信息传播的文明程度。

数据集最近研究

最新研究方向

在自然语言处理与社交媒体分析的交汇领域，仇恨言论检测已成为维护网络空间清朗的关键技术。SEACrowd/id_hatespeech数据集聚焦于2017年雅加达省长选举这一政治热点事件，通过从Twitter平台爬取并人工标注的713条推文，为印尼语仇恨言论识别提供了宝贵的基准资源。当前，该数据集的前沿研究主要围绕多语言预训练模型的迁移学习与领域适配，探索如何利用Transformer架构（如IndoBERT）在有限标注样本下提升检测精度。相关热点事件包括东南亚地区选举期间的网络暴力治理，该数据集的应用推动了低资源语言仇恨言论检测的标准化进程，其意义在于为印尼语社交舆情监控提供可复现的评估框架，同时为跨文化仇恨表达模式的比较研究奠定数据基础。