mesolitica/chatgpt-malay-instructions

该数据集名为malay-instru，基于WizardLM的Evol_Instruct项目，并添加了马来西亚语境的提示。数据集通过ChatGPT3.5生成，包含多个子数据集，如Alpaca Evolution、Code Evolution、Malaysian Evolution等。每个子数据集都通过Evolution Instruction方法进行了演化，生成了大量用于马来西亚语境的指令和输出对。数据集的内容涵盖了健康建议、编程任务、文化适应性等多个主题，并且提供了详细的示例数据。

原始信息汇总

数据集概述

语言

• 马来语 (ms)

数据集名称

• malay-instru

数据集来源

• 原始数据来自 https://github.com/nlpxucan/WizardLM/tree/main/Evol_Instruct，增加了一些马来语语境的提示。
• 使用 ChatGPT3.5 生成，相关笔记本可在 https://github.com/mesolitica/malaysian-dataset/tree/master/chatbot/evol-instruct 找到。

数据集内容

Alpaca Evolution

• 使用 https://raw.githubusercontent.com/gururise/AlpacaDataCleaned/main/alpaca_data_cleaned.json 并通过 Evolution Instruction 进化。
• 文件：synthetic-alpaca_data_cleaned.jsonl
• 行数：51738
• 大小：152 MB

示例数据

python {instruction: Beri tiga petua untuk menjaga kesihatan yang sepadan di negara Malaysia., output: Tiga petua untuk menjaga kesihatan yang sepadan di negara Malaysia adalah:

1. Makan makanan yang seimbang dan berkhasiat: Berusaha untuk mengamalkan pemakanan yang seimbang dengan menggabungkan semua kumpulan makanan seperti bijirin, sayur-sayuran, buah-buahan, protein dan lemak yang sihat. Hindari makanan yang tinggi gula, garam, dan lemak tepu. Pastikan bahawa makanan yang diambil adalah segar dan bersih.
2. Budayakan senaman secara berkala: Amalkan senaman secara teratur seperti berjalan kaki, berlari, berenang, atau mengikuti kelas senaman. Senaman dapat membantu mengurangkan risiko penyakit jantung, diabetes, obesiti, dan meningkatkan kesihatan mental dan fizikal. Pastikan anda mendapatkan cahaya matahari yang mencukupi untuk memperoleh vitamin D yang penting bagi kesihatan tulang.
3. Amalkan gaya hidup sihat: Hindari merokok dan minum alkohol. Jarakkan diri dari aktiviti yang berisiko seperti penggunaan dadah terlarang. Pastikan tidur yang mencukupi untuk pemulihan tubuh dan minda yang optimum. Perhatikan kesihatan mental dengan melakukan aktiviti yang menyenangkan seperti meditasi, mengurus stres dan mencari sokongan sosial daripada keluarga atau rakan sejawat.

Tindakan ini boleh membantu meningkatkan kesihatan dan kualiti hidup anda di negara Malaysia., indon_ins: False, indon_output: False, instruction_ms: Berikan tiga petua untuk menjaga kesihatan yang sesuai di negara Malaysia., output_ms: Tiga petua untuk menjaga kesihatan yang sepadan di Malaysia ialah:

1. Makan makanan yang seimbang dan berkhasiat: Cuba mengamalkan pemakanan yang seimbang dengan menggabungkan semua kumpulan makanan seperti bijirin, sayur-sayuran, buah-buahan, protein dan lemak yang sihat. Elakkan makanan yang tinggi gula, garam, dan lemak tepu. Pastikan makanan yang diambil adalah segar dan bersih.
2. Budayakan senaman secara berkala: Amalkan senaman secara teratur seperti berjalan kaki, berlari, berenang, atau mengikuti kelas senaman. Senaman boleh membantu mengurangkan risiko penyakit jantung, diabetes, obesiti, dan meningkatkan kesihatan mental dan fizikal. Pastikan anda mendapat cahaya matahari yang mencukupi untuk mendapatkan vitamin D yang penting untuk kesihatan tulang.
3. Amalkan gaya hidup sihat: Elakkan merokok dan minum alkohol. Jauhi aktiviti yang berisiko seperti penggunaan dadah terlarang. Pastikan tidur yang mencukupi untuk pemulihan badan dan minda yang optimum. Perhatikan kesihatan mental dengan melakukan aktiviti yang menyenangkan seperti meditasi, menguruskan tekanan dan mencari sokongan sosial daripada keluarga atau rakan sejawat.

Tindakan ini boleh membantu meningkatkan kesihatan dan kualiti hidup anda di Malaysia., rejected_ins: False, rejected_output: False}

Code Evolution

• 使用 https://huggingface.co/datasets/TokenBender/unnatural_code_instructions_20M 并通过 Evolution Instruction 进化。
• 文件：synthetic-code-instructions.jsonl
• 行数：111920
• 大小：462 MB

示例数据

python {instruction: Tulis kod Python untuk menginisialisasi matriks 100 x 100 dengan nilai integer acak yang berkisar dari -100 hingga 100, tetapi pastikan bahwa jumlah nilai dalam setiap baris sama dengan nilai target tertentu.

Nilai target harus menjadi integer acak yang berkisar dari -1000 hingga 1000, dan harus berbeda untuk setiap baris., output: Berikut adalah contoh kode Python untuk menginisialisasi matriks 100 x 100 dengan nilai integer acak yang memenuhi persyaratan yang Anda berikan:

python import random

def inisialisasi_matriks(): matriks = [] for _ in range(100): target = random.randint(-1000, 1000) baris = [] while sum(baris) != target: baris = [random.randint(-100, 100) for _ in range(100)] matriks.append(baris) return matriks

Contoh pemanggilan fungsi

matriks = inisialisasi_matriks()

Menampilkan matriks

for baris in matriks: print(baris)

Kode di atas menggunakan perulangan untuk menginisialisasi setiap baris dalam matriks. Di setiap iterasi, kode akan memilih nilai target secara acak menggunakan fungsi random.randint() dengan rentang dari -1000 hingga 1000. Kemudian, kode akan menghasilkan baris acak dengan menggunakan list comprehension dan memastikan bahwa jumlah nilai dalam baris sama dengan nilai target. Jika jumlah nilai dalam baris tidak sesuai dengan nilai target, maka baris akan diperbarui hingga memenuhi syarat tersebut.

Silakan gunakan dan modifikasi kode tersebut sesuai dengan kebutuhan Anda., indon_ins: True, indon_output: True, instruction_ms: Tulis kod Python untuk memulakan matriks 100 x 100 dengan nilai integer rawak yang berkisar antara -100 hingga 100, tetapi pastikan jumlah nilai dalam setiap baris adalah sama dengan nilai sasaran tertentu.

Nilai sasaran mestilah integer rawak yang berkisar antara -1000 hingga 1000, dan mestilah berbeza untuk setiap baris., output_ms: Berikut adalah contoh kod Python untuk memulakan matriks 100 x 100 dengan nilai integer rawak yang memenuhi keperluan yang anda berikan:

python import random

def initialization_matrix(): matrix = [] for _ in range(100): target = random.randint(-1000, 1000) line = [] while sum(row)!= target: line = [random.randint(-100, 100) for _ in range(100)] matrix.append(row) return matrix

Contoh panggilan fungsi

matrix = initialization_matrix()

Papar matrix

for row in matrix: print(row)

Kod di atas menggunakan pengulangan untuk memulakan setiap baris dalam matriks. Dalam setiap iterasi, kod akan memilih nilai sasaran secara rawak menggunakan fungsi random.randint() dengan julat dari -1000 hingga 1000. Kemudian, kod akan menghasilkan baris rawak menggunakan senarai pemahaman dan memastikan jumlah nilai dalam baris sama dengan nilai sasaran. Jika jumlah nilai dalam baris tidak sepadan dengan nilai sasaran, maka baris akan dikemas kini sehingga memenuhi syarat tersebut.

Sila gunakan dan ubah kod mengikut keperluan anda., rejected_ins: False, rejected_output: False}

Malaysian Evolution

• 使用 https://huggingface.co/datasets/mesolitica/chatgpt4-malaysian-general-qa 并通过 Evolution Instruction 进化。
• 文件：
  • synthetic-evol-instructions.jsonl
  • synthetic-malaysian-general-qa.jsonl
  • synthetic-malaysian-general-qa-v2.jsonl
• 行数：
  • 104286
  • 25652
  • 22513
• 大小：
  • 365 MB
  • 77.1 MB
  • 89.2 MB

示例数据

python {instruction: Dapatkah anda membuat suatu versi yang diperbaharui daripada ayat yang memberi fokus kepada kepentingan kecocokan budaya dalam penilaian calon?

Memang, saya memahami tanggungjawab jawatan ini dan bersedia untuk menganalisis serta mengkaji kecekapan teknikal dan kebolehan komunikasi calon dengan cekap, memberikan maklum balas yang bernas terhadap jawapan mereka, dan memberikan cadangan yang mendalam berkenaan kesesuaian mereka dengan jawatan tersebut., output: Tentu, berikut ini adalah versi yang diperbaharui daripada ayat yang lebih memberi fokus kepada kepentingan kecocokan budaya dalam penilaian calon:

"Saya menaruh perhatian yang besar terhadap pentingnya kecocokan budaya dalam menilai calon. Saya sepenuhnya memahami tanggung jawab jabatan ini dan siap untuk menganalisis dan mengevaluasi secara teliti keahlian teknis dan kemampuan komunikasi calon. Saya akan memberikan tanggapan yang mendalam terhadap jawaban mereka dan memberikan saran yang relevan mengenai kesesuaian mereka dengan jabatan ini.", indon_ins: False, indon_output: True, instruction_ms: Bolehkah anda membuat versi yang diperbaharui daripada ayat yang memberi tumpuan kepada kepentingan kecocokan budaya dalam penilaian calon?

Memang, saya memahami tanggungjawab jawatan ini dan bersedia untuk menganalisis serta mengkaji kecekapan teknikal dan kebolehan komunikasi calon dengan cekap, memberikan maklum balas yang bernas terhadap jawapan mereka, dan memberikan cadangan yang mendalam berkenaan kesesuaian mereka dengan jawatan tersebut., output_ms: Sudah tentu, berikut adalah versi yang diperbaharui daripada ayat yang lebih memberi tumpuan kepada kepentingan kesesuaian budaya dalam penilaian calon:

"Saya memberi perhatian yang besar kepada kepentingan kesesuaian budaya dalam menilai calon. Saya sepenuhnya memahami tanggungjawab jawatan ini dan bersedia untuk menganalisis dan menilai dengan teliti kepakaran teknikal dan keupayaan komunikasi calon. Saya akan memberikan jawapan yang mendalam terhadap jawapan mereka dan memberikan nasihat yang relevan tentang kesesuaian mereka dengan jawatan ini.", rejected_ins: False, rejected_output: False}

Malay glaive_coder_raw_text

• 翻译指令来自 https://huggingface.co/datasets/TokenBender/glaive_coder_raw_text 并通过 ChatGPT3.5 回答。
• 文件：synthetic-glaive_coder_raw_text.jsonl
• 行数：131091
• 大小：460 MB

示例数据

python {instruction: Bagaimana cara untuk memasang Python 3 pada instans AWS EC2? Saya telah mencuba menggunakan arahan sudo yum install python3, tetapi saya menerima mesej ralat yang mengatakan Tiada pakej python3 tersedia.. Saya telah mencari dalam talian tetapi tidak menemui sebarang penyelesaian. Adakah saya perlu memuat turun dan memasangnya secara manual?, output: Untuk memasang Python 3 pada instans AWS EC2, anda boleh menggunakan arahan yum untuk memasang pakej yang diperlukan. Namun, cara terbaik untuk memasang Python 3 adalah dengan menggunakan EPEL (Extra Packages for Enterprise Linux) repository. Anda boleh menggunakan arahan berikut untuk memasang EPEL repository:

bash sudo yum install epel-release

Selepas itu, anda boleh memasang Python 3 dengan menggunakan arahan berikut:

bash sudo yum install python3

Dengan langkah-langkah ini, anda seharusnya dapat memasang Python 3 dengan mudah pada instans AWS EC2 anda. Semoga berjaya!, instruction_en: "How can I install Python 3 on an AWS EC2 instance? I tried using the command sudo yum install python3, but I received an error message saying No package python3 available.. I searched online but didnt find a solution. Do I need to download and install it manually?", indon_ins: False, indon_output: False, instruction_ms: Bagaimana untuk memasang Python 3 pada AWS EC2 instance? Saya telah mencuba menggunakan arahan sudo yum install python3, tetapi saya menerima mesej ralat yang mengatakan Tiada pakej python3 tersedia.. Saya telah mencari dalam talian tetapi tidak menemui sebarang penyelesaian. Adakah saya perlu memuat turun dan memasangnya secara manual?, output