mesolitica/chatgpt-malay-instructions

该数据集名为malay-instru，基于WizardLM的Evol_Instruct项目，并添加了马来西亚语境的提示。数据集通过ChatGPT3.5生成，包含多个子数据集，如Alpaca Evolution、Code Evolution、Malaysian Evolution等。每个子数据集都通过Evolution Instruction方法进行了演化，生成了大量用于马来西亚语境的指令和输出对。数据集的内容涵盖了健康建议、编程任务、文化适应性等多个主题，并且提供了详细的示例数据。

This dataset, named malay-instru, is based on the Evol_Instruct project of WizardLM, with Malay contextual prompts added. Generated via ChatGPT 3.5, the dataset comprises multiple subsets including Alpaca Evolution, Code Evolution, Malaysian Evolution, and others. Each subset is evolved through the Evolution Instruction method, producing a large volume of instruction-output pairs tailored for the Malay context. The dataset covers diverse topics such as health advice, programming tasks, cultural adaptation, and more, with detailed sample data provided.

原始信息汇总

数据集概述

语言

• 马来语 (ms)

数据集名称

• malay-instru

数据集来源

• 原始数据来自 https://github.com/nlpxucan/WizardLM/tree/main/Evol_Instruct，增加了一些马来语语境的提示。
• 使用 ChatGPT3.5 生成，相关笔记本可在 https://github.com/mesolitica/malaysian-dataset/tree/master/chatbot/evol-instruct 找到。

数据集内容

Alpaca Evolution

• 使用 https://raw.githubusercontent.com/gururise/AlpacaDataCleaned/main/alpaca_data_cleaned.json 并通过 Evolution Instruction 进化。
• 文件：synthetic-alpaca_data_cleaned.jsonl
• 行数：51738
• 大小：152 MB

示例数据

python {instruction: Beri tiga petua untuk menjaga kesihatan yang sepadan di negara Malaysia., output: Tiga petua untuk menjaga kesihatan yang sepadan di negara Malaysia adalah:

1. Makan makanan yang seimbang dan berkhasiat: Berusaha untuk mengamalkan pemakanan yang seimbang dengan menggabungkan semua kumpulan makanan seperti bijirin, sayur-sayuran, buah-buahan, protein dan lemak yang sihat. Hindari makanan yang tinggi gula, garam, dan lemak tepu. Pastikan bahawa makanan yang diambil adalah segar dan bersih.
2. Budayakan senaman secara berkala: Amalkan senaman secara teratur seperti berjalan kaki, berlari, berenang, atau mengikuti kelas senaman. Senaman dapat membantu mengurangkan risiko penyakit jantung, diabetes, obesiti, dan meningkatkan kesihatan mental dan fizikal. Pastikan anda mendapatkan cahaya matahari yang mencukupi untuk memperoleh vitamin D yang penting bagi kesihatan tulang.
3. Amalkan gaya hidup sihat: Hindari merokok dan minum alkohol. Jarakkan diri dari aktiviti yang berisiko seperti penggunaan dadah terlarang. Pastikan tidur yang mencukupi untuk pemulihan tubuh dan minda yang optimum. Perhatikan kesihatan mental dengan melakukan aktiviti yang menyenangkan seperti meditasi, mengurus stres dan mencari sokongan sosial daripada keluarga atau rakan sejawat.

Tindakan ini boleh membantu meningkatkan kesihatan dan kualiti hidup anda di negara Malaysia., indon_ins: False, indon_output: False, instruction_ms: Berikan tiga petua untuk menjaga kesihatan yang sesuai di negara Malaysia., output_ms: Tiga petua untuk menjaga kesihatan yang sepadan di Malaysia ialah:

1. Makan makanan yang seimbang dan berkhasiat: Cuba mengamalkan pemakanan yang seimbang dengan menggabungkan semua kumpulan makanan seperti bijirin, sayur-sayuran, buah-buahan, protein dan lemak yang sihat. Elakkan makanan yang tinggi gula, garam, dan lemak tepu. Pastikan makanan yang diambil adalah segar dan bersih.
2. Budayakan senaman secara berkala: Amalkan senaman secara teratur seperti berjalan kaki, berlari, berenang, atau mengikuti kelas senaman. Senaman boleh membantu mengurangkan risiko penyakit jantung, diabetes, obesiti, dan meningkatkan kesihatan mental dan fizikal. Pastikan anda mendapat cahaya matahari yang mencukupi untuk mendapatkan vitamin D yang penting untuk kesihatan tulang.
3. Amalkan gaya hidup sihat: Elakkan merokok dan minum alkohol. Jauhi aktiviti yang berisiko seperti penggunaan dadah terlarang. Pastikan tidur yang mencukupi untuk pemulihan badan dan minda yang optimum. Perhatikan kesihatan mental dengan melakukan aktiviti yang menyenangkan seperti meditasi, menguruskan tekanan dan mencari sokongan sosial daripada keluarga atau rakan sejawat.

Tindakan ini boleh membantu meningkatkan kesihatan dan kualiti hidup anda di Malaysia., rejected_ins: False, rejected_output: False}

Code Evolution

• 使用 https://huggingface.co/datasets/TokenBender/unnatural_code_instructions_20M 并通过 Evolution Instruction 进化。
• 文件：synthetic-code-instructions.jsonl
• 行数：111920
• 大小：462 MB

示例数据

python {instruction: Tulis kod Python untuk menginisialisasi matriks 100 x 100 dengan nilai integer acak yang berkisar dari -100 hingga 100, tetapi pastikan bahwa jumlah nilai dalam setiap baris sama dengan nilai target tertentu.

Nilai target harus menjadi integer acak yang berkisar dari -1000 hingga 1000, dan harus berbeda untuk setiap baris., output: Berikut adalah contoh kode Python untuk menginisialisasi matriks 100 x 100 dengan nilai integer acak yang memenuhi persyaratan yang Anda berikan:

python import random

def inisialisasi_matriks(): matriks = [] for _ in range(100): target = random.randint(-1000, 1000) baris = [] while sum(baris) != target: baris = [random.randint(-100, 100) for _ in range(100)] matriks.append(baris) return matriks

Contoh pemanggilan fungsi

matriks = inisialisasi_matriks()

Menampilkan matriks

for baris in matriks: print(baris)

Kode di atas menggunakan perulangan untuk menginisialisasi setiap baris dalam matriks. Di setiap iterasi, kode akan memilih nilai target secara acak menggunakan fungsi random.randint() dengan rentang dari -1000 hingga 1000. Kemudian, kode akan menghasilkan baris acak dengan menggunakan list comprehension dan memastikan bahwa jumlah nilai dalam baris sama dengan nilai target. Jika jumlah nilai dalam baris tidak sesuai dengan nilai target, maka baris akan diperbarui hingga memenuhi syarat tersebut.

Silakan gunakan dan modifikasi kode tersebut sesuai dengan kebutuhan Anda., indon_ins: True, indon_output: True, instruction_ms: Tulis kod Python untuk memulakan matriks 100 x 100 dengan nilai integer rawak yang berkisar antara -100 hingga 100, tetapi pastikan jumlah nilai dalam setiap baris adalah sama dengan nilai sasaran tertentu.

Nilai sasaran mestilah integer rawak yang berkisar antara -1000 hingga 1000, dan mestilah berbeza untuk setiap baris., output_ms: Berikut adalah contoh kod Python untuk memulakan matriks 100 x 100 dengan nilai integer rawak yang memenuhi keperluan yang anda berikan:

python import random

def initialization_matrix(): matrix = [] for _ in range(100): target = random.randint(-1000, 1000) line = [] while sum(row)!= target: line = [random.randint(-100, 100) for _ in range(100)] matrix.append(row) return matrix

Contoh panggilan fungsi

matrix = initialization_matrix()

Papar matrix

for row in matrix: print(row)

Kod di atas menggunakan pengulangan untuk memulakan setiap baris dalam matriks. Dalam setiap iterasi, kod akan memilih nilai sasaran secara rawak menggunakan fungsi random.randint() dengan julat dari -1000 hingga 1000. Kemudian, kod akan menghasilkan baris rawak menggunakan senarai pemahaman dan memastikan jumlah nilai dalam baris sama dengan nilai sasaran. Jika jumlah nilai dalam baris tidak sepadan dengan nilai sasaran, maka baris akan dikemas kini sehingga memenuhi syarat tersebut.

Sila gunakan dan ubah kod mengikut keperluan anda., rejected_ins: False, rejected_output: False}

Malaysian Evolution

• 使用 https://huggingface.co/datasets/mesolitica/chatgpt4-malaysian-general-qa 并通过 Evolution Instruction 进化。
• 文件：
  • synthetic-evol-instructions.jsonl
  • synthetic-malaysian-general-qa.jsonl
  • synthetic-malaysian-general-qa-v2.jsonl
• 行数：
  • 104286
  • 25652
  • 22513
• 大小：
  • 365 MB
  • 77.1 MB
  • 89.2 MB

示例数据

python {instruction: Dapatkah anda membuat suatu versi yang diperbaharui daripada ayat yang memberi fokus kepada kepentingan kecocokan budaya dalam penilaian calon?

Memang, saya memahami tanggungjawab jawatan ini dan bersedia untuk menganalisis serta mengkaji kecekapan teknikal dan kebolehan komunikasi calon dengan cekap, memberikan maklum balas yang bernas terhadap jawapan mereka, dan memberikan cadangan yang mendalam berkenaan kesesuaian mereka dengan jawatan tersebut., output: Tentu, berikut ini adalah versi yang diperbaharui daripada ayat yang lebih memberi fokus kepada kepentingan kecocokan budaya dalam penilaian calon:

"Saya menaruh perhatian yang besar terhadap pentingnya kecocokan budaya dalam menilai calon. Saya sepenuhnya memahami tanggung jawab jabatan ini dan siap untuk menganalisis dan mengevaluasi secara teliti keahlian teknis dan kemampuan komunikasi calon. Saya akan memberikan tanggapan yang mendalam terhadap jawaban mereka dan memberikan saran yang relevan mengenai kesesuaian mereka dengan jabatan ini.", indon_ins: False, indon_output: True, instruction_ms: Bolehkah anda membuat versi yang diperbaharui daripada ayat yang memberi tumpuan kepada kepentingan kecocokan budaya dalam penilaian calon?

Memang, saya memahami tanggungjawab jawatan ini dan bersedia untuk menganalisis serta mengkaji kecekapan teknikal dan kebolehan komunikasi calon dengan cekap, memberikan maklum balas yang bernas terhadap jawapan mereka, dan memberikan cadangan yang mendalam berkenaan kesesuaian mereka dengan jawatan tersebut., output_ms: Sudah tentu, berikut adalah versi yang diperbaharui daripada ayat yang lebih memberi tumpuan kepada kepentingan kesesuaian budaya dalam penilaian calon:

"Saya memberi perhatian yang besar kepada kepentingan kesesuaian budaya dalam menilai calon. Saya sepenuhnya memahami tanggungjawab jawatan ini dan bersedia untuk menganalisis dan menilai dengan teliti kepakaran teknikal dan keupayaan komunikasi calon. Saya akan memberikan jawapan yang mendalam terhadap jawapan mereka dan memberikan nasihat yang relevan tentang kesesuaian mereka dengan jawatan ini.", rejected_ins: False, rejected_output: False}

Malay glaive_coder_raw_text

• 翻译指令来自 https://huggingface.co/datasets/TokenBender/glaive_coder_raw_text 并通过 ChatGPT3.5 回答。
• 文件：synthetic-glaive_coder_raw_text.jsonl
• 行数：131091
• 大小：460 MB

示例数据

python {instruction: Bagaimana cara untuk memasang Python 3 pada instans AWS EC2? Saya telah mencuba menggunakan arahan sudo yum install python3, tetapi saya menerima mesej ralat yang mengatakan Tiada pakej python3 tersedia.. Saya telah mencari dalam talian tetapi tidak menemui sebarang penyelesaian. Adakah saya perlu memuat turun dan memasangnya secara manual?, output: Untuk memasang Python 3 pada instans AWS EC2, anda boleh menggunakan arahan yum untuk memasang pakej yang diperlukan. Namun, cara terbaik untuk memasang Python 3 adalah dengan menggunakan EPEL (Extra Packages for Enterprise Linux) repository. Anda boleh menggunakan arahan berikut untuk memasang EPEL repository:

bash sudo yum install epel-release

Selepas itu, anda boleh memasang Python 3 dengan menggunakan arahan berikut:

bash sudo yum install python3

Dengan langkah-langkah ini, anda seharusnya dapat memasang Python 3 dengan mudah pada instans AWS EC2 anda. Semoga berjaya!, instruction_en: "How can I install Python 3 on an AWS EC2 instance? I tried using the command sudo yum install python3, but I received an error message saying No package python3 available.. I searched online but didnt find a solution. Do I need to download and install it manually?", indon_ins: False, indon_output: False, instruction_ms: Bagaimana untuk memasang Python 3 pada AWS EC2 instance? Saya telah mencuba menggunakan arahan sudo yum install python3, tetapi saya menerima mesej ralat yang mengatakan Tiada pakej python3 tersedia.. Saya telah mencari dalam talian tetapi tidak menemui sebarang penyelesaian. Adakah saya perlu memuat turun dan memasangnya secara manual?, output

搜集汇总

数据集介绍

构建方式

该数据集名为mesolitica/chatgpt-malay-instructions，是基于进化指令（Evolve Instruction）方法构建的马来语指令数据集。其构建过程融合了多个来源：从Alpaca数据集的清洁版本出发，利用ChatGPT 3.5进行指令演化，生成适应马来西亚语境的指令对；同时，对代码指令数据集（如unnatural_code_instructions_20M）进行翻译与演化处理；此外，还通过翻译Magicoder-OSS-Instruct-75K以及glaive_coder_raw_text等英文数据集，并借助ChatGPT 3.5生成对应的马来语回答，从而实现了指令的本地化与多样化。

使用方法

该数据集适用于微调马来语大语言模型，特别是在指令跟随与多轮对话任务中。使用时，可直接加载JSONL格式文件，根据任务需求选择指令与输出字段，如'instruction_ms'和'output_ms'用于马来语训练，或'instruction'与'output'用于原始语言。数据集还提供了'indon_ins'与'indon_output'等字段，便于研究者按语言或质量进行过滤。推荐将数据划分为训练集与验证集，并结合标准序列到序列或因果语言模型框架进行微调，以优化模型的马来语理解与生成能力。

背景与挑战

背景概述

在自然语言处理领域，指令微调数据集对于提升大语言模型的泛化能力与任务遵循能力至关重要。然而，现有高质量指令数据多集中于英语等主流语言，低资源语言如马来语的指令数据极为匮乏，严重制约了马来语大语言模型的发展。为此，马来西亚研究团队mesolitica于2023年构建了chatgpt-malay-instructions数据集，旨在通过演化指令技术生成马来语指令微调数据。该数据集基于WizardLM的Evol_Instruct方法，对Alpaca数据、代码指令、马来语通用问答及Magicoder等多源数据进行翻译与演化，最终生成涵盖日常问答、代码生成、文化适配等场景的马来语指令样本。数据集包含超过50万条指令-输出对，为马来语大语言模型的指令微调提供了关键资源，推动了低资源语言NLP研究的进步。

当前挑战

该数据集面临的核心挑战在于构建过程中数据质量与语言适配的平衡。首先，原始数据多为英文，自动翻译至马来语可能引入语义偏差或文化不匹配问题，例如马来语中特有的礼貌用语和本土化表达难以通过机器翻译准确呈现。其次，演化指令生成的输出依赖ChatGPT3.5，其生成内容可能存在事实错误或逻辑不一致，需人工校验但规模庞大难以全面覆盖。此外，数据集覆盖领域广泛，从代码生成到日常问答，不同任务对指令的精确性要求各异，如何确保演化后的指令既保持原始意图又符合马来语语境是一大难题。最后，数据集中部分样本存在马来语与印尼语混用（indon_ins字段），可能干扰模型对标准马来语的学习效果，需进一步清洗与标准化。

常用场景

经典使用场景

在低资源语言自然语言处理领域，mesolitica/chatgpt-malay-instructions数据集为马来语指令微调提供了关键的训练资源。该数据集基于Evolution Instruction方法，从Alpaca、代码指令、通用问答等多个源头进行演化生成，涵盖了健康建议、编程任务、文化适配对话等丰富场景。其最经典的使用场景是作为马来语大语言模型的监督微调数据，通过指令-输出对的形式，使模型学会理解并生成符合马来语语境的高质量回复，从而显著提升模型在马来语上的指令遵循能力和对话流畅度。

解决学术问题

该数据集有效解决了马来语等低资源语言在指令微调领域数据匮乏的核心学术问题。传统上，大规模指令数据集多集中于英语，导致非英语模型在本地化应用中表现欠佳。通过系统性地将英文指令数据翻译并适配为马来语语境，并结合本地化内容演化，该工作为跨语言指令学习提供了可复现的范式。其意义在于推动了多语言自然语言处理的公平性，使得马来语社区能够受益于先进的指令微调技术，并为其他低资源语言的类似研究树立了标杆。

实际应用

在实际应用中，该数据集直接赋能了马来语智能助手的开发与部署。基于此数据集微调的模型可被集成到面向马来西亚用户的客服系统、教育辅导平台和健康咨询应用中，提供地道的马来语交互体验。例如，在编程教育场景中，模型能够用马来语解释Python代码安装步骤；在文化敏感场景中，模型能理解并回应当地习俗相关的问题。这种本地化能力极大降低了技术产品的使用门槛，加速了AI技术在东南亚市场的落地。

数据集最近研究

最新研究方向

该数据集聚焦于马来语指令微调数据的生成与优化，通过融合进化指令（Evol-Instruct）技术对英文高质量指令集（如Alpaca、Magicoder等）进行马来语本地化翻译与语义增强，构建多领域、多轮次的马来语对话与代码指令数据集。当前前沿方向包括利用ChatGPT 3.5对通用问答、代码生成、文化适配等场景进行深度指令进化，以提升马来语大语言模型在特定文化语境下的指令跟随能力与生成质量。该工作顺应了低资源语言大模型发展的热潮，尤其在东南亚AI生态建设中具有重要示范意义，为马来语自然语言处理提供了可复现的指令数据构建范式，推动了多语言模型在区域化应用中的落地与普惠。