skilledu/Malaysian-SFT

Malaysian-SFT 是一个用于监督微调（SFT）的多语言数据集，主要聚焦于马来西亚相关语言和文化内容。数据集包含马来语（ms）、英语（en）、泰米尔语（ta）、中文（zh）和印度尼西亚语（id）等多种语言。它由多个子数据集组合而成，包括公开数据集如 chatgpt4-malaysian-general-qa、llama3-70b-qa 等，以及额外组合的通用目的数据集。数据内容涵盖广泛的任务：通用问答、社交媒体问答、代码指令、方言处理、语法纠错、翻译（如爪夷文与马来语/英语互译）、政治演讲风格、安全响应等。数据集经过后处理，包括字符级和单词级去重、过滤俄语/西里尔字符、异常字符和保留关键词。此外，提供了将数据转换为聊天格式的代码示例，支持系统提示、用户和助理角色。该数据集旨在为大型语言模型提供多语言和多任务的微调样本，适用于马来西亚语境下的自然语言处理应用。

Malaysian-SFT is a multilingual dataset for supervised fine-tuning (SFT), primarily focusing on Malaysian-related languages and cultural content. It includes multiple languages such as Malay (ms), English (en), Tamil (ta), Chinese (zh) and Indonesian (id). The dataset is assembled from multiple sub-datasets, including public resources like chatgpt4-malaysian-general-qa and llama3-70b-qa, as well as additional general-purpose datasets. Its content covers a wide range of tasks: general question answering, social media question answering, code instructions, dialect processing, grammar error correction, translation (e.g., mutual translation between Jawi and Malay/English), political speech style-related tasks, safety response, etc. The dataset has undergone post-processing procedures, including character-level and word-level deduplication, filtering of Russian/Cyrillic characters and abnormal characters, as well as retention of key words. Additionally, code examples for converting the data into chat format are provided, supporting system prompts, user and assistant roles. This dataset aims to provide multilingual and multi-task fine-tuning samples for large language models, and is suitable for natural language processing (NLP) applications in the Malaysian context.

搜集汇总

数据集介绍

构建方式

Malaysian-SFT数据集是一个面向马来西亚语境的大规模指令微调数据集，其构建方式体现了多元性与系统性。该数据集整合了来自多个公开与私有数据源的23个子集，涵盖通用问答、社交媒体对话、文学诠释、方言指令、语法纠错、代码生成、结构化函数调用及政务文本等丰富场景。为适应马来西亚多语共生的社会现实，数据集特别纳入了对马来语、英语、中文、泰米尔语、爪夷文及印尼语等多语言的强制标准化处理，并通过机器翻译和伪标签扩充手段构建了独立的规范化子集。构建过程中还融合了来自ShareGPT和Alpaca等公开数据集的跨语料中文与泰米尔语指令，进一步增强了语料的文化包容性。

特点

Malaysian-SFT数据集的核心特色在于其高度针对马来西亚本地化需求的精细化设计。它不仅包含了面向主流语言的通用指令，更深入挖掘了马来方言、爪夷文拼写、马来谚语以及议会辩论风格等具有强烈地域文化色彩的语料，从而显著提升了模型对地方性知识与表达方式的适应能力。数据集通过字符级与词级重复检测、异常字符过滤及特定保留关键词移除等多层后处理机制，保证了指令质量的纯净度。此外，数据集提供了超过280万条样本，支持不同语言与格式的强制输出配置，为构建能够在马来西亚多语言、多方言环境中可靠运行的大语言模型奠定了扎实的数据基础。

使用方法

Malaysian-SFT数据集的使用方法灵活且具有明确的适配性指导。用户可通过HuggingFace Datasets库加载不同配置名的子集，如'default'主配置或'malaysian_normalizer'等专用配置。数据类型以parquet格式存储，便于通过pandas高效读取。数据集提供了从原始行到对话格式的转换示例，特别是针对包含'<bot>:'标签的多轮对话结构进行了专门解析，生成符合'system'、'user'、'assistant'角色的标准ChatML格式。开发建议指出，若基座模型已在多语言上训练，使用LoRA微调即可取得良好效果；反之，则需纳入更多样本进行全参数微调，以充分发挥该数据集在马来西亚语用场景下的适配潜力。

背景与挑战

背景概述

Malaysian-SFT数据集由马来西亚研究团队mesolitica主导创建，旨在填补低资源语言在指令微调领域的空白。该数据集汇聚了超过30个子集，涵盖马来语、英语、泰米尔语、华语及印尼语等多语言，并包含爪夷文、方言、语法修正等特色任务，规模达数百GB。其核心研究问题在于如何构建高质量、多任务、多语言的对齐数据，以适配马来西亚及东南亚地区的语言多样性。自发布以来，该数据集显著推动了马来语大语言模型（如MaLLaM系列）的发展，成为本地化NLP研究的重要基石。

当前挑战

该数据集所解决的领域挑战包括：1）低资源语言缺乏指令微调数据，导致模型在马来语、爪夷文等语言上表现欠佳；2）多语言混合场景下的任务泛化困难，需覆盖问答、代码生成、方言转换等多样化指令；3）构建过程中面临的数据质量挑战，如噪声过滤（剔除俄语字符、重复文本）、跨语言一致性（翻译准确性与文化适配性），以及大规模合成数据的可靠性验证（如Llama3生成的问答需去重与语义校对）。

常用场景

经典使用场景

马来西亚SFT数据集是一部专为东南亚语言环境量身打造的指令微调语料宝库，涵盖马来语、英语、泰米尔语、汉语普通话及印尼语等多元语种。其最为经典的使用场景在于为大语言模型提供高质量的监督式微调训练数据。数据集汇聚了海量对话问答、代码指令、语法纠错（如kesalahan_tatabahasa_instructions）、爪夷文转换及方言理解等丰富题型，使研究者能够借助统一范式，系统性地提升模型在多语言多任务场景下的生成能力与指令遵循精度。

解决学术问题

在低资源语言的自然语言处理研究中，该数据集有效缓解了马来语及东南亚小语种指令数据匮乏的瓶颈。它结合了机器翻译增强数据、合成对话和专家标注样本，支撑了多语言语义对齐、跨语言泛化与方言适应性等学术议题的探索。此外，通过集成安全回应（malaysian_safe_respond）与议会辩论风格（malaysian_politician_hansard_style）等模块，它为模型伦理对齐、风格迁移及鲁棒性评估提供了可控实验环境，推动了区域语言模型研究的深度发展。

衍生相关工作

围绕该数据集已衍生出一系列标志性工作，如mesolitica团队基于其微调的MaLLaM系列马来语大模型，在马来语理解基准上取得显著突破。此外，研究者利用其中的ultrachat与社交媒体QA数据，构建了面向马来西亚用户的对话系统评估标准如MaLLM-Bench，并催生出jawi-code-instructions等专攻爪夷文编程的创新型指令库。语法纠错子集与方言指令结合，更孕育了面向多语种混合口语（Manglish）的标准化工具，推动了区域性NLP研究生态的繁荣。