SEACrowd/jadi_ide

JaDi-Ide数据集是一个用于爪哇方言识别的Twitter数据集，包含16,498个数据样本。该数据集将方言分类为`标准爪哇语`、`Ngapak爪哇语`和`东爪哇语`。

The JaDi-Ide dataset is a Twitter-based dataset for Javanese dialect identification, containing 16,498 data samples. This dataset categorizes dialects into three classes: Standard Javanese, Ngapak Javanese, and East Javanese.

原始信息汇总

数据集概述

数据集名称

Jadi Ide

语言

ind（印尼语）

任务类别

情感分类

数据集描述

Jadi Ide数据集是一个用于爪哇方言识别的Twitter数据集，包含16,498个数据样本。该数据集将方言分为标准爪哇语、Ngapak爪哇语和东爪哇语三种方言。

支持任务

情感分类

数据集版本

源版本：1.0.0
SEACrowd版本：2024.06.20

数据集许可证

未知

引用

如果您在使用Jadi Ide数据集，请引用以下内容：

@article{hidayatullah2020attention, title={Attention-based cnn-bilstm for dialect identification on javanese text}, author={Hidayatullah, Ahmad Fathan and Cahyaningtyas, Siwi and Pamungkas, Rheza Daffa}, journal={Kinetik: Game Technology, Information System, Computer Network, Computing, Electronics, and Control}, pages={317--324}, year={2020} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

JaDi-Ide数据集源自Twitter平台，专为爪哇语方言识别任务设计。其构建过程基于对社交媒体文本的系统性采集与标注，共收录16,498条数据样本。每条样本均被标注为三种方言类别之一：标准爪哇语、Ngapak爪哇语与东爪哇语。这一标注体系遵循语言学分类标准，确保了数据在方言多样性上的代表性。数据集以标准格式发布，便于研究者直接用于方言分类模型的训练与评估。

特点

该数据集的核心特点在于其聚焦于低资源语言——爪哇语的方言识别任务，填补了该领域公开数据集的空白。样本均源自真实的Twitter用户生成内容，反映了自然语言在社交媒体环境中的真实分布，包括非正式表达、拼写变体与语境多样性。三类方言的细致划分使得模型能够捕捉细微的语言差异。此外，数据集版本明确（来源1.0.0，SEACrowd 2024.06.20），为实验的可重复性提供了保障。

使用方法

使用者可通过HuggingFace的datasets库便捷加载数据集，仅需调用load_dataset函数并指定数据集名称，同时设置trust_remote_code=True以启用自定义代码。若采用SEACrowd生态，可借助seacrowd库的load_dataset或load_dataset_by_config_name方法，灵活选择默认配置或特定子集。加载后，数据集可直接用于构建方言分类模型，支持常见的机器学习框架。详细的使用指南与配置选项可在SEACrowd官方文档中查阅。

背景与挑战

背景概述

在自然语言处理领域，方言识别作为低资源语言技术的重要分支，长期以来受限于标注数据的匮乏与语言变体的复杂性。Jadi Ide数据集由Ahmad Fathan Hidayatullah等研究者于2020年创建，旨在填补爪哇语方言自动识别的研究空白。该数据集从Twitter平台采集了16,498条文本样本，覆盖标准爪哇语、Ngapak爪哇语与东爪哇语三种主要方言变体，为东南亚语言处理社区提供了首个专门面向爪哇语方言分类的基准资源。作为SEACrowd数据枢纽的重要组成部分，Jadi Ide的发布不仅推动了印尼语系方言识别技术的标准化评估，更通过开放获取模式促进了低资源语言研究生态的构建，其影响力已延伸至情感分类等下游任务，为多语言社会计算研究奠定了关键基础。

当前挑战

Jadi Ide数据集当前面临的核心挑战体现在两个层面。在领域问题层面，爪哇语方言间存在高度词汇重叠与语法渐变现象，例如Ngapak与东爪哇方言在非正式场景下的边界模糊性，使得基于浅层特征的分类模型准确率难以突破瓶颈；此外，社交媒体文本中混入的印尼语借词与拼写变异进一步加剧了方言辨识难度。在构建过程中，研究者需应对Twitter数据采集带来的标签噪声问题，包括用户自创缩略语、多语言混合表达以及标注者主观判断差异，同时需平衡方言样本的分布均衡性——东爪哇语样本占比显著低于其他两类方言，这可能导致模型产生系统性偏差。这些挑战共同制约着数据集在跨方言迁移学习与鲁棒性评估中的实际应用价值。

常用场景

经典使用场景

在爪哇语自然语言处理研究中，方言识别是一项基础且关键的任务，而JaDi-Ide数据集正是为此而生。该数据集源自Twitter平台，精心收集并标注了16,498条文本样本，覆盖了标准爪哇语、Ngapak爪哇语和东爪哇语三种主要方言变体。其最经典的使用场景在于训练和评估基于深度学习的方言分类模型，例如结合注意力机制的卷积神经网络与双向长短期记忆网络，以精准区分不同方言的细微语言特征。这一场景为探究印尼语族内方言的多样性与演变提供了量化工具。

衍生相关工作

基于JaDi-Ide数据集，学术界已衍生出多项经典工作。最突出的当属Hidayatullah等人（2020）提出的基于注意力机制的CNN-BiLSTM模型，该工作首次将深度学习架构系统应用于爪哇语方言识别，验证了注意力机制在捕获方言关键特征上的有效性。此外，SEACrowd项目（Lovenia等，2024）将该数据集纳入东南亚多语言基准套件，推动了跨语言模型比较与方言识别任务的标准化评估。这些衍生研究不仅拓展了数据集的应用边界，也为低资源语言处理提供了可复现的实验范式。

数据集最近研究

最新研究方向

在自然语言处理领域，方言识别作为低资源语言技术的重要分支，正受到越来越多的关注。Jadi Ide数据集聚焦于印度尼西亚爪哇语的三种方言——标准爪哇语、Ngapak爪哇语和东爪哇语的识别任务，为社交媒体文本中的方言多样性研究提供了宝贵资源。当前前沿方向之一是利用注意力机制与卷积双向长短期记忆网络（CNN-BiLSTM）的融合模型，以提升方言分类的准确性与鲁棒性，相关研究已在该数据集上展开验证。此外，该数据集作为SEACrowd多语言多模态数据枢纽的一部分，推动了东南亚语言在情感分类等下游任务中的基准测试与跨语言迁移学习探索。随着社交媒体中方言文本的激增，Jadi Ide的发布不仅助力于保护语言文化遗产，也为构建更具包容性的多语言AI系统奠定了数据基础。