SEACrowd/melayu_sarawak

Korpus Variasi Bahasa Melayu: Sarawak 是一个语言语料库，来源于马来西亚砂拉越方言的各种民间故事。该数据集主要用于自监督预训练任务。

原始信息汇总

Melayu Sarawak 数据集概述

基本信息

• 数据集名称: Melayu Sarawak
• 语言: zlm
• 任务类别: 自监督预训练 (Self Supervised Pretraining)
• 标签: 自监督预训练 (Self Supervised Pretraining)
• 许可证: Creative Commons Attribution 4.0 (cc-by-4.0)

数据集描述

Korpus Variasi Bahasa Melayu: Sarawak 是一个从 Melayu Sarawak 方言的各种民间传说中提取的语言语料库。

支持的任务

• 自监督预训练 (Self Supervised Pretraining)

数据集版本

• 源版本: 1.0.0
• SEACrowd 版本: 2024.06.20

数据集加载方式

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/melayu_sarawak", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("melayu_sarawak", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("melayu_sarawak"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

https://github.com/matbahasa/Melayu_Sarawak

引用

如果您在工作中使用了 Melayu Sarawak 数据加载器，请引用以下内容：

@misc{melayusarawak, author = {Hiroki Nomoto}, title = {Melayu_Sabah}, year = {2020}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {url{https://github.com/matbahasa/Melayu_Sarawak}}, commit = {a175f691f9db94d7b4f971e7a93b7cc001c0ed47} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

SEACrowd/melayu_sarawak数据集源自《Korpus Variasi Bahasa Melayu: Sarawak》语料库，该语料库系统采集了砂拉越马来语方言中的各类民间传说文本。构建过程中，研究者从砂拉越地区丰富的口头文学传统中提取语言材料，通过转录、整理与数字化处理，形成结构化的语言资源。数据集遵循Creative Commons Attribution 4.0许可协议发布，版本为1.0.0，旨在为低资源语言的自我监督预训练提供基础语料。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集，使用load_dataset('SEACrowd/melayu_sarawak', trust_remote_code=True)命令即可获取。此外，SEACrowd库提供了更灵活的访问方式，支持通过sc.load_dataset函数加载默认配置，或利用sc.available_config_names枚举子集，再以sc.load_dataset_by_config_name指定具体配置进行调用。详细用法可参考SEACrowd官方文档。

背景与挑战

背景概述

在东南亚语言资源日益受到重视的背景下，马来语作为该区域的关键语言之一，其方言变体的语料库建设尤为珍贵。Melayu Sarawak数据集由Hiroki Nomoto于2020年创建，隶属于SEACrowd项目，旨在收录砂拉越马来方言的民间传说文本，为低资源语言的自监督预训练提供基础语料。该数据集以CC-BY-4.0许可发布，通过GitHub平台开放获取，填补了砂拉越马来方言在自然语言处理领域的空白。其影响力体现在为东南亚语言多样性研究提供了标准化数据支持，推动了区域语言模型的发展，尤其在方言文本的语义表征与迁移学习方面具有重要价值。

当前挑战

该数据集面临的核心挑战在于方言文本的稀缺性与标注复杂性。砂拉越马来方言作为非标准变体，缺乏统一的拼写规范与语法体系，导致数据清洗与预处理难度显著增加。同时，民间传说文本的语义隐含文化背景，对模型的自监督学习能力提出更高要求，需解决领域适应性不足的问题。构建过程中，语料来源分散且规模有限，需依赖手动收集与校对，难以保证覆盖方言的全部语言现象。此外，数据集的单一任务导向（自监督预训练）限制了其在多任务场景下的直接应用，亟需扩展标注以支持下游任务如情感分析或机器翻译。

常用场景

经典使用场景

Melayu Sarawak数据集作为马来语变体——砂拉越马来方言的语言资源，主要用于自监督预训练任务。研究者可基于该语料库中丰富的民间传说文本，训练语言模型以捕捉该方言独特的词汇、句法和语义特征，从而提升模型对低资源马来方言的理解与生成能力。该数据集为东南亚语言多样性的建模提供了基础数据支撑，尤其适用于方言预训练与跨方言迁移学习的研究。

解决学术问题

该数据集解决了马来语方言研究领域长期存在的语料匮乏问题，尤其是砂拉越马来方言在自然语言处理中的空白。通过提供标准化的民间传说文本语料，它使得学术研究能够系统性地探索方言的形态学、语法结构及语用特征。此外，该数据集推动了低资源语言预训练技术的进步，为方言之间的对比语言学分析和跨语言知识迁移提供了可靠的实验基准，显著促进了东南亚语言学与计算语言学的交叉融合。

实际应用

在实际应用中，Melayu Sarawak数据集可用于开发面向砂拉越地区的智能语音助手、方言翻译系统及文化内容数字化工具。例如，基于该语料训练的模型能够辅助地方政府进行方言文档的自动整理与归档，或为当地居民提供更精准的方言文本识别与生成服务。此外，该数据集还可赋能教育科技领域，支持方言教学资源的自动化生成，助力砂拉越马来方言的传承与保护。

数据集最近研究

最新研究方向

在东南亚语言资源日益受到关注的背景下，SEACrowd/melayu_sarawak数据集的发布为马来语方言的机器理解与低资源语言预训练开辟了新的前沿。该数据集聚焦于砂拉越马来语（Melayu Sarawak）这一鲜有数字化语料的方言变体，通过收录大量民间传说文本，为自监督预训练任务提供了宝贵的语言材料。当前，低资源语言的自然语言处理研究正从通用模型向方言特异性适应演进，该数据集的引入不仅填补了马来语方言在预训练语料库中的空白，还推动了SEACrowd多语言数据生态的完善，为构建更具包容性的东南亚语言模型奠定了基础。其意义在于，通过挖掘未被充分代表的语言变体，助力方言保护、文化传承及区域智能化应用的发展，体现了语言多样性与人工智能技术深度融合的前沿趋势。