mesolitica/malaysian-ultrachat

该数据集名为malaysian-ultrachat，旨在为马来西亚语境下的多轮对话提供数据支持。数据集包含了来自多个来源的对话数据，如Astroawani、Crossref melayu papers、Epenerbitan等，每个来源的数据量、文件大小和文件链接都有详细说明。示例数据展示了对话的结构和内容，包括用户和助手之间的多轮对话。

原始信息汇总

马来西亚上下文超聊天数据集

数据集概述

该数据集包含多轮对话，适用于马来西亚上下文。数据集由多个子集组成，每个子集来自不同的来源，涵盖了各种主题和内容。

数据集组成

1. Astroawani

   • 文件: ultrachat-astroawani-malay.jsonl
   • 行数: 60198
   • 大小: 477 MB

2. Crossref melayu papers

   • 文件: ultrachat-crossref-melayu-malay.jsonl
   • 行数: 9959
   • 大小: 187 MB

3. Epenerbitan

   • 文件: ultrachat-epenerbitan-malay.jsonl
   • 行数: 4567
   • 大小: 73.4 MB

4. gov.my pdf

   • 文件: ultrachat-gov.my.jsonl
   • 行数: 10128
   • 大小: 160 MB

5. JurnalDBP

   • 文件: ultrachat-jurnaldbp-malay.jsonl
   • 行数: 6440
   • 大小: 115 MB

6. lom.agc.gov.my.jsonl

   • 文件: ultrachat-lom-agc.jsonl
   • 行数: 8044
   • 大小: 126 MB

7. MS Wikipedia

   • 文件: ultrachat-ms-wikipedia.jsonl
   • 行数: 4408
   • 大小: 57.9 MB

8. Hansard

   • 文件: ultrachat-hansard-malay.jsonl
   • 行数: 72538
   • 大小: 862 MB

9. Textbooks

   • 文件: ultrachat-textbooks.jsonl
   • 行数: 49842
   • 大小: 1.19 GB

10. maktabahalbakri.com

    • 文件: ultrachat-maktabahalbakri.com.jsonl
    • 行数: 3350
    • 大小: 76.6 MB

11. muftiwp.gov.my/ms

    • 文件: ultrachat-muftiwp.gov.my.texts.jsonl
    • 行数: 3834
    • 大小: 83.6 MB

示例数据

以下是数据集中的一个示例对话片段：

python [{role: context, content: LIGAxa0Malaysia (Liga-M) terus menerima tamparan hebat apabila UiTM FC sah menarik diri daripada saingan Liga Super musim ini bagi menyusuli jejak Petaling Jaya City.

Perkara itu disahkan sendiri oleh Presiden The Lion Troops, Profesor Dr. Sazili Shahibi, selepas dua musim beraksi di pentas Liga Super.

Selain masalah kewangan, Dr Sazili menjelaskan ada punca lain mengapa pihak pengurusan mengibarkan bendera putih.

"Ahli Lembaga Pengarah UiTM telah bermesyuarat dan (kami mengambil) keputusan untuk menarik diri daripada liga pada musim depan.

"Kewangan adalah salah faktornya, tapi kami rasa daripada segi kemampuan, ia tidak sesuai buat pemain-pemain kami," katanya ketika dihubungi Astro Arena xa0pada Rabu.

Sazili juga berhasrat memaklumkan UiTM bakal beralih ke saingan Liga M3 musim ini.

Untuk rekod, UiTM muncul pasukan berstatus universiti pertama yang layak beraksi dalam Liga Super.

Dalam pada itu, Liga Bolasepak Malaysia (MFLhanya akan menjelaskan situasi berkenaan menerusi kenyataan rasmi bakal dalam masa terdekat selepas hanya 14 pasukan yang akan bertanding di pentas Liga Super musim ini. - Stadium Astro, content_ms: None, indon: False}, {role: user, content: What are the reasons given by UiTM FC for withdrawing from Liga Malaysia?, content_ms: Apakah alasan yang diberikan oleh UiTM FC kerana menarik diri daripada Liga Malaysia?, indon: False}, {role: assistant, content: Menurut Presiden UiTM FC, Profesor Dr. Sazili Shahibi, mereka mengambil keputusan untuk menarik diri daripada Liga Malaysia musim ini atas beberapa sebab. Salah satu sebab utamanya adalah masalah kewangan yang dihadapi oleh pasukan. Selain itu, beliau juga menyebut bahawa kemampuan pasukan UiTM tidak sesuai untuk bersaing dalam Liga Super. Selain masalah ini, tidak ada sebab lain yang diberikan dalam laporan tersebut., content_ms: Menurut Presiden UiTM FC, Profesor Dr. Sazili Shahibi, mereka membuat keputusan untuk menarik diri daripada Liga Malaysia musim ini atas beberapa sebab. Salah satu sebab utama ialah masalah kewangan yang dihadapi oleh pasukan. Selain itu, beliau juga menyatakan bahawa keupayaan pasukan UiTM tidak sesuai untuk bersaing dalam Liga Super. Selain masalah ini, tiada sebab lain diberikan dalam laporan tersebut., indon: False}, {role: user, content: Alamak, memang sedihlah tengok UiTM FC tarik diri dari Liga Malaysia. Macam mana pula dengan penonton setia yang selalu sokong pasukan tu? Harap-harap ada jalan penyelesaian untuk masalah kewangan mereka., content_ms: Alamak, memang sedih tengok UiTM FC menarik diri dari Liga Malaysia. Bagaimana pula dengan penonton setia yang selalu menyokong pasukan itu? Harap-harap ada jalan penyelesaian untuk masalah kewangan mereka., indon: False}, {role: assistant, content: Ya, memang sedih melihat UiTM FC menarik diri dari Liga Malaysia. Bagi penonton setia yang sentiasa menyokong pasukan tersebut, tentu mereka juga berasa kecewa. Kami juga berharap ada jalan penyelesaian untuk masalah kewangan yang dihadapi oleh UiTM FC. Mungkin pihak pengurusan boleh mencari sponsor atau menyusun semula strategi kewangan untuk membolehkan pasukan tersebut terus beraksi dalam liga pada masa hadapan. Semoga mereka dapat menemui penyelesaian yang baik dan kembali bersaing di pentas bola sepak Malaysia., content_ms: Ya, memang sedih melihat UiTM FC menarik diri dari Liga Malaysia. Bagi penonton setia yang sentiasa menyokong pasukan tersebut, tentu mereka juga berasa kecewa. Kami juga berharap ada jalan penyelesaian untuk masalah kewangan yang dihadapi oleh UiTM FC. Mungkin pihak pengurusan boleh mencari penaja atau menyusun semula strategi kewangan untuk membolehkan pasukan tersebut terus beraksi dalam liga pada masa hadapan. Semoga mereka dapat menemui penyelesaian yang baik dan kembali bersaing di pentas bola sepak Malaysia., indon: False}, {role: user, content: Ya betul tu, banyak peminat setia UiTM FC yang akan kecewa dengan keputusan mereka tarik diri dari Liga Malaysia. Harapnya pihak pengurusan dapat cari jalan penyelesaian secepat mungkin supaya pasukan tu masih dapat beraksi dalam liga. Saya pun tak sabar nak tengok prestasi UiTM FC lagi musim hadapan. Semoga ada berita baik dalam masa terdekat., content_ms: Ya, betul tu. Banyak peminat setia UiTM FC yang akan kecewa dengan keputusan mereka menarik diri dari Liga Malaysia. Harapnya pihak pengurusan dapat mencari jalan penyelesaian secepat mungkin supaya pasukan itu masih dapat beraksi dalam liga. Saya pun tak sabar nak tengok prestasi UiTM FC lagi musim depan. Semoga ada berita baik dalam masa terdekat., indon: False}, {role: assistant, content: Saya juga setuju dengan anda. Semoga pihak pengurusan UiTM FC dapat mencari jalan penyelesaian secepat mungkin agar pasukan tersebut masih dapat berlaga dalam Liga Malaysia. Benar, banyak peminat yang ingin melihat prestasi UiTM FC musim hadapan. Mari kita nantikan berita baik daripada mereka dalam masa terdekat. Harapnya mereka dapat mengatasi masalah kewangan dan kembali membanggakan para penyokong. Kita terus sokong UiTM FC!, content_ms: Saya juga bersetuju dengan anda. Semoga pihak pengurusan UiTM FC dapat mencari jalan penyelesaian secepat mungkin supaya pasukan tersebut masih dapat bersaing dalam Liga Malaysia. Benar, ramai peminat yang ingin melihat prestasi UiTM FC musim depan. Mari kita nantikan berita baik daripada mereka dalam masa terdekat. Harapnya mereka dapat mengatasi masalah kewangan dan kembali membanggakan para penyokong. Kita terus sokong UiTM FC!, indon: False}, {role: user, content: Ya lah, harapnya UiTM FC dapat dapat mencari penyelesaian yang cepat. Penyokong setia UiTM FC mesti excited nak tengok pasukan beraksi lagi musim hadapan. Semoga ada berita gembira dalam masa terdekat!, content_ms: Ya lah, harapnya UiTM FC dapat mencari penyelesaian yang cepat. Penyokong setia UiTM FC mesti teruja untuk melihat pasukan beraksi lagi musim depan. Semoga ada berita gembira dalam masa terdekat!, indon: False}, {role: assistant, content: Betul tu, penyokong setia UiTM FC pasti sangat teruja melihat pasukan beraksi di musim hadapan. Kita harap pihak pengurusan dapat mencari penyelesaian dengan pantas supaya pasukan dapat kembali ke gelanggang. Kita tunggu berita gembira yang akan datang dan terus menyokong UiTM FC dengan penuh semangat. Biar bola sepak Malaysia sentiasa berwarna dengan kehadiran pasukan hebat seperti UiTM FC!, content_ms: Betul tu, penyokong setia UiTM FC pasti sangat teruja melihat pasukan beraksi pada musim depan. Kita harap pihak pengurusan dapat mencari penyelesaian dengan pantas supaya pasukan dapat kembali ke gelanggang. Kita tunggu berita gembira yang akan datang dan terus menyokong UiTM FC dengan penuh semangat. Biar bola sepak Malaysia sentiasa berwarna dengan kehadiran pasukan hebat seperti UiTM FC!, indon: False}, {role: user, content: Ya betul tu, memang berharap pasukan UiTM FC dapat segera mencari jalan penyelesaian. Setiap pasukan memang perlu sokongan dan kami sebagai penyokong setia akan terus memberikan sokongan kepada pasukan kesayangan kami. Semoga ada berita gembira yang akan datang!, content_ms: Ya, betul tu. Memang berharap pasukan UiTM FC dapat segera mencari jalan penyelesaian. Setiap pasukan memang perlukan sokongan dan kami sebagai penyokong setia akan terus memberikan sokongan kepada pasukan kesayangan kami. Semoga ada berita gembira yang akan datang!, indon: False}, {role: assistant, content: Setiap pasukan memang memerlukan sokongan daripada penyokong setia seperti anda. Anda adalah aset berharga bagi pasukan UiTM FC. Teruskan menyokong dengan penuh semangat dan harapan. Kita berdoa agar pihak pengurusan dapat mencari jalan penyelesaian dengan segera. Bersama-sama, mari kita nantikan berita gembira yang akan datang dan terus memberikan sokongan kepada pasukan kesayangan kita. UiTM FC pasti akan bangkit dan menyampaikan prestasi yang cemerlang musim hadapan!, content_ms: Setiap pasukan memang memerlukan sokongan daripada penyokong setia seperti anda. Anda adalah aset berharga bagi pasukan UiTM FC. Teruskan menyokong dengan penuh semangat dan harapan. Kita berdoa agar pihak pengurusan dapat mencari jalan penyelesaian dengan segera. Bersama-sama, mari kita nantikan berita gembira yang akan datang dan terus memberikan sokongan kepada pasukan kesayangan kita. UiTM FC pasti akan bangkit dan menyampaikan prestasi yang cemerlang musim depan!, indon: False}]

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的多轮对话数据集对于训练强大的对话系统至关重要。该数据集基于马来西亚语境构建，通过整合来自多个权威来源的文本数据，采用指令微调的技术路线，生成了用户与助手之间的多轮对话。具体而言，数据来源于Astroawani新闻、Crossref学术论文、Epenerbitan出版物、政府网站、JurnalDBP期刊、法律文献、马来语维基百科、议会记录（Hansard）、教科书以及宗教文本等11个渠道。每个来源的原始文本经过精心筛选与清洗后，利用预设的对话模板转化为结构化的对话格式，最终合并为包含多轮交互的JSONL文件，确保了数据集的丰富性与领域覆盖度。

特点

该数据集的核心特色在于其深厚的马来西亚本土化特征与多领域覆盖。对话不仅涵盖了新闻、学术、法律、教育等广泛主题，还特别融入了马来语特有的表达方式与文化背景，使得训练出的模型能够更精准地理解并回应当地用户的需求。数据集中每条样本均包含角色（role）与内容（content）字段，支持上下文、用户与助手之间的自然轮转，模拟了真实对话的流畅性。此外，数据集提供了马来语与英语双语版本，增强了跨语言应用的灵活性，同时通过严格的数据筛选机制剔除了低质量或不合规的对话对，保证了数据的高保真度。

使用方法

使用该数据集时，推荐遵循HuggingFace上的预处理框架进行数据加载与过滤。开发者可通过提供的Jupyter Notebook脚本执行清洗与验证步骤，以剔除可能存在的噪声样本。数据集以标准的JSONL格式存储，支持直接用于微调基于Transformer架构的对话模型，如GPT、LLaMA等。训练前，建议将多轮对话序列化为统一的输入格式，并利用角色标记（如<|user|>与<|assistant|>）区分发言者。通过设置合理的批量大小与学习率，可在马来西亚语境下显著提升模型的对话生成质量与语义连贯性。

背景与挑战

背景概述

在自然语言处理领域，多轮对话数据集的构建对于提升大语言模型的交互能力至关重要。mesolitica/malaysian-ultrachat数据集由马来西亚人工智能社区于近期创建，旨在填补马来语环境下高质量多轮对话数据的空白。该数据集由多个研究机构协作完成，核心研究问题是如何利用本地化语料资源，如Astroawani新闻、政府文档、学术论文、宗教文本及教科书等，生成结构化的用户与助手对话。通过整合超过11个来源的超过22万条对话样本，该数据集为马来语大语言模型的微调与评估提供了重要基础，推动了低资源语言在对话系统领域的发展，并对东南亚区域的语言技术研究产生了积极影响。

当前挑战

该数据集面临的核心挑战在于多轮对话的真实性与一致性。从构建过程看，原始语料多为非对话形式的文本（如新闻、法律条文、宗教问答），需通过自动化或半自动化方法转化为多轮交互格式，这可能导致对话逻辑断裂或语义偏离。此外，数据集中存在低质量对话对，如示例中用户与助手的重复性表态，需依赖人工或规则筛选以提升数据纯净度。在领域问题层面，马来语作为低资源语言，缺乏成熟的对话生成模板与质量评估基准，使得模型在泛化到真实场景时易出现文化语境误解或回答冗余。这些挑战要求研究者在数据清洗、对话结构设计及评估指标上持续创新。

常用场景

经典使用场景

mesolitica/malaysian-ultrachat数据集专为多轮对话生成任务而设计，其经典使用场景在于训练和评估面向马来西亚语境的指令微调大语言模型。该数据集通过整合来自Astroawani新闻、Crossref学术论文、政府公文、马来语维基百科、议会记录、教科书及宗教文献等多元来源，构建了高质量的用户-助手对话对，使模型能够掌握马来西亚语特有的表达习惯、文化背景和知识体系，从而在本地化问答、信息检索和内容生成等任务中表现出色。

解决学术问题

该数据集有效解决了低资源语言（尤其是马来西亚语）在对话式AI研究中数据匮乏的学术难题。通过系统性地将非对话文本转化为结构化多轮交互数据，它填补了马来语领域缺乏大规模、高质量指令微调数据集的空白，为研究者提供了基准资源，推动了多语言自然语言处理中语言多样性、跨文化对话建模以及低资源场景下模型泛化能力等关键问题的探索。其意义在于促进了马来语NLP技术的公平发展，并为其他低资源语言的数据构建方法提供了可复用的范式。

衍生相关工作

该数据集衍生了多项经典工作，包括基于其构建的马来语专用大语言模型（如Malaysian-LLaMA系列），以及针对多轮对话质量控制的过滤与优化方法，如README中提及的坏样本拒绝策略。相关研究还探索了如何利用该数据集进行跨领域知识迁移，例如将新闻与法律文本中的对话模式迁移至医疗或教育场景。此外，它激发了关于低资源语言对话数据合成技术的创新，推动了如UltraChat-like范式在马来语社区的普及，并为后续的马来语指令数据集（如Malaysian-Alpaca）提供了基础框架。