SEACrowd/nusax_senti

NusaX是一个高质量的多语言平行语料库，覆盖了12种语言，包括印尼语、英语以及10种印尼地方语言，即亚齐语、巴厘语、班贾尔语、布吉语、马都拉语、米南加保语、爪哇语、恩加朱语、巽他语和托巴巴塔克语。NusaX-Senti是一个用于情感分析的数据集，包含10种印尼地方语言、印尼语和英语，标签分为正面、中性和负面三类。

NusaX is a high-quality multilingual parallel corpus covering 12 languages, including Indonesian, English and 10 Indonesian regional languages: Acehnese, Balinese, Banjar, Buginese, Madurese, Minangkabau, Javanese, Ngaju, Sundanese and Toba Batak. NusaX-Senti is a sentiment analysis dataset that includes 10 Indonesian regional languages, Indonesian and English, with its labels divided into three categories: positive, neutral and negative.

原始信息汇总

Nusax Senti 数据集概述

语言

• 印尼语 (ind)
• 英语 (eng)
• 其他10种印尼地方语言：
  • 亚齐语 (ace)
  • 巴厘语 (ban)
  • 班贾尔语 (bjn)
  • 布吉语 (bbc)
  • 布吉语 (bug)
  • 爪哇语 (jav)
  • 马都拉语 (mad)
  • 米南加保语 (min)
  • 尼亚斯语 (nij)
  • 巽他语 (sun)

任务类别

• 情感分析

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可

• Creative Commons Attribution Share-Alike 4.0 International

引用

@misc{winata2022nusax, title={NusaX: Multilingual Parallel Sentiment Dataset for 10 Indonesian Local Languages}, author={Winata, Genta Indra and Aji, Alham Fikri and Cahyawijaya, Samuel and Mahendra, Rahmad and Koto, Fajri and Romadhony, Ade and Kurniawan, Kemal and Moeljadi, David and Prasojo, Radityo Eko and Fung, Pascale and Baldwin, Timothy and Lau, Jey Han and Sennrich, Rico and Ruder, Sebastian}, year={2022}, eprint={2205.15960}, archivePrefix={arXiv}, primaryClass={cs.CL} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在东南亚语言资源建设领域，情感分析数据集的匮乏长期制约着本地语言自然语言处理的发展。NusaX-Senti依托于NusaX高质量多语言平行语料库，精心筛选并标注了涵盖印度尼西亚语、英语及十种印尼地方语言的情感分析数据。该数据集采用三分类标注体系（正面、中性、负面），由语言专家对社交媒体、新闻报道等多源文本进行人工标注，并通过跨语言一致性校验确保标签可靠性。最终形成的语料库覆盖了亚齐语、巴厘语、班贾尔语、布吉语、马都拉语、米南加保语、爪哇语、恩加朱语、巽他语和托巴巴塔克语等十种代表性地方语言，构建了首个大规模印尼地方语言情感分析基准。

使用方法

研究者可通过HuggingFace datasets库便捷加载该数据集，仅需一行代码即可获取完整的训练、验证与测试划分。具体而言，使用`load_dataset("SEACrowd/nusax_senti", trust_remote_code=True)`即可实现标准加载。对于需要深度定制的场景，推荐采用SEACrowd生态工具，通过`sc.load_dataset("nusax_senti", schema="seacrowd")`获取结构化数据，并利用`available_config_names`方法探索子集配置。数据集的通用格式使其可无缝适配Transformer、LSTM等主流情感分析模型，同时支持跨语言迁移学习研究，为低资源语言的情感计算提供了可复现的实验平台。

背景与挑战

背景概述

在自然语言处理领域，情感分析作为一项基础任务，对于理解用户意见、监测舆情及优化人机交互具有重要价值。然而，多数情感分析数据集集中于高资源语言，如英语，导致低资源语言（尤其是印尼本土语言）的研究严重滞后。为弥合这一鸿沟，Genta Indra Winata等研究者于2022年构建了NusaX-Senti数据集，该数据集隶属于NusaX多语言平行语料库项目，由印尼多所高校及国际研究机构联合开发。NusaX-Senti涵盖12种语言，包括印尼语、英语及10种印尼地方语言（如亚齐语、巴厘语、爪哇语等），并标注了积极、中立、消极三类情感标签。该数据集的发布填补了东南亚低资源语言情感分析领域的空白，为多语言情感模型训练提供了标准化基准，推动了区域语言技术研究的民主化进程。

当前挑战

NusaX-Senti面临的核心挑战在于低资源语言情感分析任务的固有困难。一方面，印尼地方语言如巴塔克语、恩加朱语等缺乏大规模标注语料和预训练语言模型，传统基于迁移学习的方法常因语言差异显著（如形态丰富性、方言变体）而性能受限。情感标注中的中立类别边界模糊，不同语言间情感表达的文化特异性（如含蓄表达与直接用词）进一步加剧了分类难度。另一方面，数据集构建过程中面临标注一致性难题：10种地方语言的母语标注者需统一标注标准，但跨语言的情感概念映射（如“积极”在不同文化中的内涵差异）导致标注者间分歧显著。此外，数据稀疏性问题突出，部分语言（如托巴巴塔克语）的样本量不足，难以支撑深度模型训练，需依赖数据增强或零样本学习等策略缓解。

常用场景

经典使用场景

NusaX-Senti作为面向印尼语及十种印尼地方语言的情感分析基准数据集，其经典使用场景在于构建和评估多语言情感分类模型。研究者通常将其划分为训练、验证和测试集，用于训练能够识别正面、中性、负面三种情感倾向的深度学习模型，尤其适用于低资源语言的情感分析任务，为跨语言情感理解提供标准化的评估平台。

解决学术问题

该数据集解决了低资源语言情感分析领域缺乏高质量标注语料的学术困境。在印尼地方语言如亚齐语、巴厘语、爪哇语等长期被主流自然语言处理研究忽视的背景下，NusaX-Senti填补了空白，使研究者能够探索跨语言迁移学习、零样本情感分类等前沿问题，推动了多语言情感分析理论的发展，并揭示了语言多样性对情感表达模式的影响。

实际应用

在实际应用中，NusaX-Senti赋能了面向印尼多元语言社群的情感监测系统。例如，企业可利用基于该数据集训练的模型分析社交媒体上不同地区用户对产品的反馈，政府机构可追踪公共舆论在地方语言中的情感波动，从而优化区域政策沟通策略。此外，它还为印尼本地化服务的智能客服和内容审核工具提供了情感理解基础。

数据集最近研究

最新研究方向

在低资源语言情感分析领域，NusaX-Senti数据集正成为推动印尼本土语言与英语、印尼语多语言情感理解研究的关键资源。前沿方向聚焦于跨语言迁移学习与多语种预训练模型的微调，以应对语料稀缺和语言多样性带来的挑战。该数据集覆盖10种印尼地方语言，为构建包容性自然语言处理系统提供了基准，尤其在与东南亚多语言数据枢纽SEACrowd项目的结合中，催生了针对低资源语言的情感分类、零样本学习及多模态融合等热点研究。其意义在于促进语言技术民主化，保护语言多样性，并为区域经济与社会舆情分析提供数据支撑。