SEACrowd/id_abusive_news_comment

该数据集包含3184个印度尼西亚在线新闻评论样本，带有3个标签，主要用于情感分析任务。数据集旨在检测在线新闻评论中的侮辱性语言，以防止这些评论带来的负面影响。数据集可以通过`datasets`库或`seacrowd`库进行加载。This dataset contains 3184 samples of Indonesian online news comments with 3 labels, primarily used for sentiment analysis tasks. The dataset aims to detect abusive language in online news comments to prevent the negative effects of such comments. The dataset can be loaded using the `datasets` library or the `seacrowd` library.

原始信息汇总

数据集概述

语言

• 印尼语 (ind)

支持的任务

• 情感分析 (sentiment-analysis)

数据集描述

• 包含3184个印尼在线新闻评论样本，带有3个标签。

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• Creative Commons Attribution Share-Alike 4.0 International

引用

• 使用数据集时，请引用以下文献：

  @INPROCEEDINGS{9034620, author={Kiasati Desrul, Dhamir Raniah and Romadhony, Ade}, booktitle={2019 International Seminar on Research of Information Technology and Intelligent Systems (ISRITI)}, title={Abusive Language Detection on Indonesian Online News Comments}, year={2019}, volume={}, number={}, pages={320-325}, doi={10.1109/ISRITI48646.2019.9034620}}

  @article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在网络空间日益复杂的当下，恶意语言检测成为维护健康交流环境的关键技术。SEACrowd/id_abusive_news_comment数据集正是为此而生，它聚焦于印度尼西亚语在线新闻评论区中的辱骂性语言。该数据集由Dhamir Raniah Kiasati Desrul与Ade Romadhony构建，源自对印尼主流新闻网站评论的采集与标注。原始数据经过清洗与筛选，最终包含3184条样本，每条样本均被赋予三类标签之一，用以区分评论是否包含辱骂性内容。数据集的构建严格遵循学术规范，其版本管理清晰，源版本为1.0.0，SEACrowd版本为2024.06.20，并采用Creative Commons Attribution Share-Alike 4.0 International许可协议，确保数据可被合法共享与使用。

特点

该数据集的核心特色在于其针对印尼语在线新闻评论的专门化设计，填补了低资源语言在恶意语言检测领域的数据空白。3184条样本虽规模适中，但每一条均经过人工标注，保证了标签的准确性与可靠性。数据集采用三元分类体系，超越了简单的二元判断，能够更细腻地刻画评论的恶意程度。此外，其与SEACrowd数据中心的深度整合，使得用户可借助seacrowd库灵活调用不同配置的子集，极大提升了数据使用的可扩展性。数据来源的透明性——公开的GitHub仓库——也为研究者提供了验证与复现的便利。

使用方法

研究者可通过HuggingFace的datasets库便捷加载该数据集，仅需一行代码即可获取：`from datasets import load_dataset; dset = datasets.load_dataset("SEACrowd/id_abusive_news_comment", trust_remote_code=True)`。对于偏好SEACrowd生态的用户，则可使用seacrowd库，通过`sc.load_dataset("id_abusive_news_comment", schema="seacrowd")`加载默认配置，或通过`sc.available_config_names`查看所有可用子集，再以`sc.load_dataset_by_config_name`指定具体配置。数据集已预设为情感分析任务格式，可直接用于训练分类模型或作为基准测试。引用时需注明原始论文与SEACrowd技术报告，以尊重学术贡献。

背景与挑战

背景概述

在网络社交日益普及的当下，印度尼西亚语在线新闻评论区充斥着大量含有侮辱、谩骂或诅咒的滥用语言，这些言论不仅污染了公共讨论空间，更可能对读者造成心理伤害。为应对这一挑战，Dhamir Raniah Kiasati Desrul 与 Ade Romadhony 于2019年构建了 Id Abusive News Comment 数据集，其核心研究问题在于开发能够自动检测印尼语新闻评论中滥用语言的系统。该数据集包含3184条标注样本，每条评论被赋予三个情感类别之一，为印尼语自然语言处理领域的情感分析任务提供了基础资源。作为 SEACrowd 数据枢纽的一部分，该数据集于2024年6月20日整合发布，旨在推动东南亚语言的多模态基准研究，对区域内的语言技术发展具有重要影响力。

当前挑战

该数据集面临的挑战首先体现在领域问题上：滥用语言检测需区分细微的语义边界，例如讽刺、隐喻或文化特定的侮辱表达，这使得传统情感分析模型难以准确捕捉恶意意图。其次，构建过程中遭遇多重困难：数据集仅包含3184条样本，规模有限，可能无法覆盖滥用语言的多样性；标注任务依赖人工判断，不同标注者对侮辱程度的认知差异易导致标签不一致；此外，印尼语作为低资源语言，缺乏成熟的预训练语言模型和词嵌入资源，进一步限制了检测系统的泛化能力。这些挑战共同制约了模型在实际新闻评论场景中的鲁棒性与实用性。

常用场景

经典使用场景

在自然语言处理与情感分析的交汇领域，Id Abusive News Comment 数据集为印尼语在线新闻评论中的恶意语言检测提供了宝贵的标注资源。该数据集包含3184条样本，每条样本被标注为三种类别之一，适用于构建二分类或多分类的文本分类模型。研究者常利用该数据集训练基于深度学习或传统机器学习的分类器，以识别评论中是否包含侮辱、骚扰或诅咒等攻击性表达，从而推动低资源语言中恶意言论检测技术的进展。

解决学术问题

该数据集有效回应了印尼语社交媒体内容中恶意语言自动检测的学术挑战。在缺乏大规模标注语料的背景下，它为研究者提供了标准化的评估基准，解决了跨语言恶意言论检测中数据稀缺的问题。通过该数据集，学术界得以系统性地探索特征工程、词嵌入及预训练语言模型在印尼语场景下的适用性，并为理解东南亚语言中的语言暴力形态提供了实证基础，推动了多语言安全计算研究的边界。

衍生相关工作

该数据集催生了多项经典研究，如Kiasati Desrul与Romadhony（2019）基于此数据提出的印尼语恶意语言检测框架，成为后续工作的基线。SEACrowd项目将其纳入东南亚语言基准套件，促进了跨数据集的迁移学习研究。后续工作还衍生出结合印尼语情感词典的混合方法，以及针对社交语境的多模态扩展，进一步提升了检测的鲁棒性与领域适应性。