SEACrowd/malindo_morph

MALINDO Morph是一个包含马来语（bahasa Melayu）和印尼语（bahasa Indonesia）形态学分析的词典。它包含超过200,000行数据，每行包含一个（区分大小写的）词条的分析。每行由六个用制表符分隔的项目组成：词根、表面形式、前缀、后缀、环缀和重复。

原始信息汇总

Malindo Morph 数据集概述

数据集描述

MALINDO Morph 是一个针对马来语（Bahasa Melayu）和印尼语（Bahasa Indonesia）的语言形态学词典。该数据集包含超过20万行，每行包含一个（区分大小写）词元的分析。每行由以下六个项目组成，以制表符分隔：词根、表面形式、前缀、后缀、环缀、重复。

语言

• 马来语 (zlm)
• 印尼语 (ind)

数据集版本

• 源版本: 2023.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

Creative Commons Attribution 4.0 (cc-by-4.0)

引用

如果您在工作中使用了 Malindo Morph 数据加载器，请引用以下内容：

@InProceedings{NOMOTO18.8, author = {Hiroki Nomoto ,Hannah Choi ,David Moeljadi and Francis Bond}, title = {MALINDO Morph: Morphological dictionary and analyser for Malay/Indonesian}, booktitle = {Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)}, year = {2018}, month = {may}, date = {7-12}, location = {Miyazaki, Japan}, editor = {Kiyoaki Shirai}, publisher = {European Language Resources Association (ELRA)}, address = {Paris, France}, isbn = {979-10-95546-24-5}, language = {english} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

MALINDO Morph是一部专为马来语与印尼语设计的形态学词典，其构建基于对两种语言词汇形态的精细解析。数据集囊括逾二十万条记录，每一条均对应一个区分大小写的词元分析。每条记录以制表符分隔为六个核心字段：词根、表层形式、前缀、后缀、环缀及重叠形式，从而系统性地刻画了词汇的形态变化规律。这种结构化的构建方式为深入理解马来-印尼语系的构词机制提供了坚实的数据基础。

特点

该数据集的核心特质在于其全面而精细的形态标注体系，覆盖了马来语与印尼语中常见的派生与屈折形态现象。通过区分前缀、后缀、环缀及重叠等形态类型，MALINDO Morph不仅记录了词汇的静态形式，更揭示了其动态的构词过程。此外，数据集的跨语言属性使其成为对比研究马来语与印尼语形态差异的宝贵资源，其CC-BY-4.0许可协议也确保了学术与工业应用的广泛性。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集，执行`load_dataset('SEACrowd/malindo_morph', trust_remote_code=True)`即可获取完整词典。亦可通过SEACrowd生态工具`seacrowd`库调用，支持默认配置或按需选择子集（config）。加载后的数据可直接用于形态分析、词干提取、机器翻译等自然语言处理任务，或作为语言学研究的语料基础。详细用法可参考SEACrowd数据中心的官方文档。

背景与挑战

背景概述

马来语与印尼语作为东南亚地区使用最广泛的南岛语系语言，其形态学复杂性长期制约着自然语言处理技术的发展。MALINDO Morph 是一部专为马来语和印尼语设计的形态学词典，由 Hiroki Nomoto、Hannah Choi、David Moeljadi 和 Francis Bond 等研究人员于 2018 年在 LREC 会议上首次发布。该数据集包含超过 20 万行形态分析条目，每行涵盖词根、表层形式、前缀、后缀、接周词缀及重叠词等六项信息，为这两种高度相似却存在差异的语言提供了系统性的形态学资源。作为 SEACrowd 数据枢纽的重要组成部分，MALINDO Morph 不仅填补了马来语与印尼语形态分析领域的空白，更为跨语言研究、机器翻译及词典编纂等下游任务奠定了关键基础，显著推动了东南亚语言资源的建设与共享。

当前挑战

该数据集所解决的领域问题主要聚焦于马来语与印尼语的形态学分析，这两种语言具有丰富的派生与屈折形态，包括复杂的词缀组合与重叠现象，传统基于规则的方法难以全面覆盖。构建过程中面临的挑战尤为突出：首先，词汇的歧义性要求对每个 token 的形态分析必须结合语境进行精确判断，这增加了标注的难度；其次，马来语与印尼语虽同源，但在词缀使用与词汇演变上存在细微差异，需在统一框架下兼顾两者的独立性；此外，数据集依赖人工标注与专家知识，确保超过 20 万条条目的一致性与准确性是一项艰巨任务，对资源的持续维护与扩展也提出了更高要求。

常用场景

经典使用场景

在马来语与印度尼西亚语的形态学研究中，MALINDO Morph 作为一部涵盖超过20万条词条的双语形态词典，其经典使用场景聚焦于词汇的形态解析与生成。研究者借助该数据集，能够系统性地剖析词根、前缀、后缀、中缀、叠词等构词要素，从而为马来语和印度尼西亚语的自动形态分析提供坚实的语料基础。该词典的精细标注使得语言学家可以深入探究两种语言在形态结构上的共性与差异，尤其适用于对比语言学与计算语言学的交叉领域。

衍生相关工作

MALINDO Morph 的发布催生了一系列衍生研究工作，其中最具代表性的是基于该词典构建的自动形态分析器，如 MALINDO Morph Analyzer，能够实时对马来语与印尼语文本进行词素分割与词根还原。此外，该数据集也被整合进 SEACrowd 数据枢纽，成为东南亚多语言基准评测套件的重要组成部分，支撑了跨语言词性标注、句法分析等任务的评估。部分研究进一步将其应用于神经形态生成模型的训练，探索数据驱动与规则引导相结合的形态分析范式。

数据集最近研究

最新研究方向

在东南亚语言处理领域，马来语与印尼语作为地域亲缘性极高的语种，其形态学分析长期面临资源匮乏的困境。MALINDO Morph数据集的发布，为这一跨方言形态解析提供了结构化词典支撑，涵盖词根、表层形式、词缀及重叠等核心形态特征，显著推动了低资源语言的形态句法研究。当前前沿方向聚焦于利用该数据集训练端到端形态分析器，结合Transformer架构实现马来-印尼语的统一形态标注，并探索其在神经机器翻译与方言识别中的迁移学习潜力。随着SEACrowd数据枢纽的整合，该资源正成为东南亚多语种自然语言处理基准测试的关键组成部分，为区域语言技术的公平性与包容性发展奠定数据基础。