skilledu/Malay-Dialect-Instructions

这是一个包含马来西亚多个州属（如森美兰、吉打、吉兰丹、霹雳、彭亨、登嘉楼、马六甲、柔佛、沙巴、砂拉越和吉隆坡）的马来语方言指令数据集，专为文本生成任务设计。数据集涵盖两个主要部分：问答（QA）和编程（Coding）。每个州属的问答部分涉及特定主题，例如公共交通、基础设施、政治人物（如纳吉·拉扎克、安瓦尔·易卜拉欣）、外国移民、道路安全、塑料废物、电力使用和腐败等；编程部分则包括多种编程语言和工具，如CUDA、Rust、Go、SQL、TypeScript、Python、Dockerfile、Bash、JavaScript和Tensorflow Python等。该数据集旨在支持马来语方言的指令理解和生成，适用于自然语言处理和代码生成应用。

This is a Malay dialect instruction dataset covering multiple states in Malaysia (e.g., Negeri Sembilan, Kedah, Kelantan, Perak, Pahang, Terengganu, Melaka, Johor, Sabah, Sarawak, and Kuala Lumpur), designed for text-generation tasks. The dataset includes two main components: Question-Answering (QA) and Coding. For each state, the QA section focuses on specific topics such as public transport, infrastructure, political figures (e.g., Najib Razak, Anwar Ibrahim), foreign immigrants, road safety, plastic waste, electricity usage, and corruption; the Coding section covers various programming languages and tools, including CUDA, Rust, Go, SQL, TypeScript, Python, Dockerfile, Bash, JavaScript, and Tensorflow Python. The dataset aims to support instruction understanding and generation in Malay dialects, applicable to natural language processing and code generation applications.

搜集汇总

数据集介绍

构建方式

Malay-Dialect-Instructions数据集基于马来西亚多元方言文化构建，涵盖森美兰、吉打、吉兰丹、霹雳、彭亨、登嘉楼、马六甲、柔佛、沙巴、砂拉越及吉隆坡等十一个地区的语言变体。每个方言区域均包含问答（QA）与编程（Coding）两类指令数据。QA部分聚焦地方性议题，如公共交通、基础设施、政治人物及环境问题，以方言形式呈现自然语言交互；编程部分则覆盖CUDA、Rust、Go、SQL、TypeScript、Python、Dockerfile、Bash、JavaScript及TensorFlow Python等多种技术栈，旨在模拟方言环境下的代码生成任务。数据通过人工构建与领域知识结合的方式生成，确保方言表达的真实性与技术内容的准确性。

特点

该数据集的核心特色在于其方言多样性与任务双重性。一方面，它系统性地收录了马来西亚十一个地区的方言变体，反映了马来语在口语与书写中的地域差异，为低资源语言的方言建模提供了稀缺资源。另一方面，它巧妙融合了自然语言问答与编程指令生成两种任务，使数据集不仅适用于文本生成型对话系统，还能支撑跨领域的技术应用，如方言驱动的代码辅助工具。这种结构设计使其在语言模型微调中可同时提升方言理解与代码生成能力，兼顾语言文化保护与技术实用价值。

使用方法

使用者可直接将该数据集用于文本生成任务的模型微调，尤其适合基于HuggingFace Transformers框架的序列到序列模型训练。数据以标准格式提供，可直接加载为监督学习的输入输出对。在自然语言处理层面，问答部分可用于训练方言问答系统；编程部分则能增强模型在方言指令下的代码生成性能。建议根据需求分割数据，按方言区域或任务类型分别训练，以评估区域特定表现。该数据集亦支持零样本与少样本学习实验，通过混合方言数据提升模型的泛化能力，是研究方言多任务学习的理想基准。

背景与挑战

背景概述

Malay-Dialect-Instructions数据集由马来西亚自然语言处理研究团队于2024年创建，聚焦于马来语方言指令微调任务，涵盖森美兰、吉打、吉兰丹等十余个主要方言区域的问答与编程指令对。该数据集旨在解决马来语方言在大型语言模型中的稀缺性问题，为多方言机器理解和代码生成提供标准化评估基准。其影响力体现在推动低资源语言方言处理研究，促进东南亚语言技术发展，并为跨方言文本生成任务提供重要的实验素材。

当前挑战

该数据集面临的核心挑战在于方言多样性带来的语义歧义与语法结构差异，如吉打州方言中独特的词汇与标准马来语指令之间的映射关系难以精确建模。构建过程中需克服方言口头语与书面语不一致的表达习惯，以及编程指令中技术术语与方言表达的冲突。此外，不同方言区域的数据采集面临标注一致性难题，如霹雳州与柔佛州的同一政治人物问答需确保语境中立性。数据均衡性问题同样突出，大城市如吉隆坡的样本量远高于沙巴等偏远地区，可能引发模型偏见。

常用场景

经典使用场景

Malay-Dialect-Instructions数据集在自然语言处理领域扮演着举足轻重的角色，尤其适用于方言理解与生成任务的研究。该数据集精心汇集了马来西亚多个州属的马来语方言，如森美兰、吉打、吉兰丹等地的口语表达与书面指令，并配套了相应的问答对与编程代码示例。其经典应用在于训练和评估语言模型在方言语境下的指令遵循能力，例如让模型理解并回应以当地方言提出的公共交通、基础设施、政治人物等各类问题，从而推动方言低资源语言的智能交互技术发展。

解决学术问题

该数据集的核心学术价值在于攻克了马来语方言资源的稀缺难题，为方言自然语言处理研究提供了高质量的基准语料。传统上，标准马来语主导了大多数语言模型的研究，而方言因缺乏标注数据长期被边缘化。Malay-Dialect-Instructions的出现，使得学术界能够探究不同方言间的语言变异性对模型性能的影响，评估多方言语料是否有助于提升语言模型在马来西亚多元语言环境中的泛化能力。它有效支撑了方言语义解析、跨方言迁移学习和低资源语言指令微调等前沿课题，显著拓宽了马来语研究的广度与深度。

衍生相关工作

基于Malay-Dialect-Instructions数据集，研究人员已衍生出多项富有影响力的经典工作。一方面，该数据集被用来发展方言指令微调技术，研究者通过对比不同方言与标准马来语的微调效果，提出了方言感知注意力机制，显著提升了模型在混合方言场景下的理解准确率。另一方面，围绕该数据集，学界产出了方言专用的词嵌入模型与预训练语言模型，例如将马来西亚各州方言语料融入BERT预训练流程，获得了在方言问答任务上超越传统模型的性能。此外，该数据集还催生了方言编程语义对齐的研究，探索了如何将方言自然语言指令精确映射到代码实现，为多语言编程助手的发展贡献了关键数据资产。