skilledu/MaLLM-Bench

马来西亚考试基准数据集是一个来自马来西亚国家考试的题目集合，旨在评估大语言模型在理解马来语及其文化细微差别方面的表现。该数据集通过融入文化相关和上下文丰富的内容，填补了现有基准（如MMLU及其翻译）的空白。数据集包括小学和中学考试题目，如马来西亚教育文凭（SPM）、初中评估考试（PMR）、初中三评估（PT3）和小学成就考试（UPSR）。学科涵盖多个领域，如历史、地理和伊斯兰研究，使其成为评估LLM在需要语言理解和文化相关性任务上的全面资源。

The Malaysian Exam Benchmark Dataset is a collection of questions derived from Malaysia’s national examinations, designed to evaluate the performance of Large Language Models (LLMs) in understanding the Malay language and its cultural nuances. This dataset addresses gaps in existing benchmarks like MMLU and its translations by incorporating culturally relevant and contextually rich content. The dataset includes questions from primary and secondary school exams such as Sijil Pelajaran Malaysia (SPM), Penilaian Menengah Rendah (PMR), Pentaksiran Tingkatan Tiga (PT3), Ujian Pencapaian Sekolah Rendah (UPSR). The subjects span various areas of study, such as history, geography, and Islamic study, making it a well-rounded resource for evaluating LLMs on tasks that require both language understanding and cultural relevance.

搜集汇总

数据集介绍

构建方式

MaLLM-Bench 数据集源自马来西亚国家级考试的题目，涵盖小学与中学阶段的考试，如 Sijil Pelajaran Malaysia（SPM）、Penilaian Menengah Rendah（PMR）、Pentaksiran Tingkatan Tiga（PT3）及 Ujian Pencapaian Sekolah Rendah（UPSR）。这些题目经过系统化整理，按照学科领域进行归类，包括历史、地理、伊斯兰研究、马来语等14个科目，形成了共计超过6000道题目的结构化语料库。每个样本由题干、四个选项、标准答案及学科标签组成，采用 JSON 格式存储，便于模型直接用于评测任务。

特点

该数据集的核心特色在于其高度的文化相关性与上下文丰富性。与通用英文基准如 MMLU 及其翻译版本不同，MaLLM-Bench 聚焦于马来西亚本土语境，涵盖从会计到马来语等多个学科，尤其强调对马来语理解和当地文化细微差别的把握。题目来源于真实国家考试，确保了问题的权威性和深度。此外，数据集内容分布均匀，历史与马来语题目数量超过千道，而设计与技术等学科则提供较少但精准的样本，形成了平衡的测评覆盖面。

使用方法

使用 MaLLM-Bench 时，研究者可直接加载 JSON 格式的实例，每个实例包含题干（question）、选项列表（options）、正确答案索引（answer）及学科标签（subject）。数据集适用于评估大语言模型在马来语多学科任务上的表现，尤其适合检测模型的文化敏感度与推理能力。用户可根据学科标签筛选子集进行针对性测试，或将所有题目合并用于综合基准评测。模型输入通常将题干与选项拼接为自然语言提示，并基于标准答案计算准确率。

背景与挑战

背景概述

MaLLM-Bench是一个专为评估大语言模型（LLMs）在马来语理解及其文化语境下表现而设计的基准数据集，于近年由关注低资源语言与区域文化的研究团队所创建。核心研究问题在于，现有的国际通用基准如MMLU及其翻译版本未能充分捕捉马来西亚独特的教育体系、历史背景与文化内涵，导致LLMs在该区域的适用性缺乏可靠评价。该数据集汇集了马来西亚国家考试（包括UPSR、PT3、SPM等）中的多学科题目，涵盖历史、地理、伊斯兰研究等14个科目，共计超过6000道题目。其发布填补了马来语文化语境下LLMs评估的空白，为推动低资源语言的自然语言处理研究及多语言模型的公平性评估提供了重要资源，对东南亚地区AI研究具有显著影响力。

当前挑战

该数据集所解决的领域问题在于：现有评测基准如MMLU主要基于英文语境，缺乏对马来语及马来西亚多元文化背景的针对性，导致LLMs在处理涉及地方性知识、宗教习俗及教育体系差异的复杂任务时表现不佳，构成语言与文化的双重挑战。在构建过程中，数据集面临的核心挑战包括：如何从历年国家考试中系统性地收集、筛选并标准化跨学科题目，确保题目难度与考试难度一致；需将马来文考试中的选择题格式（包括可能存在的不标准选项描述）统一转换为机器可读的JSON结构，保留文化细微差别；此外还需解决多源异构题目中的答案歧义问题，例如伊斯兰研究或历史题目中基于特定教义或当地政策的解释差异，从而保证标注的准确性与公平性。

常用场景

经典使用场景

MaLLM-Bench数据集主要用于评估大型语言模型在马来语理解与文化语境感知方面的综合能力。该数据集汇集了马来西亚国家级考试中的历史、地理、伊斯兰研究等多学科题目，构成一个兼具语言难度与文化深度的评测基准。研究者可通过该数据集对模型进行零样本或少样本条件下的知识问答测试，衡量其在马来语多领域知识掌握、上下文推理及文化敏感度上的表现。这一场景填补了现有基准如MMLU在低资源语言与文化多样性方面的空白，为多语言NLP模型的能力评估提供了更加全面和真实的视角。

实际应用

在实际应用中，MaLLM-Bench数据集可被用于教育科技领域，推动面向马来西亚本地用户的智能学习辅助系统的开发与优化。利用该数据集训练或评估的模型，能够为马来西亚学生提供高质量的多学科题目解析、个性化学习建议与考试备考支持。此外，该数据集还可服务于政府与学术机构，辅助开发更贴合本地语言与文化习惯的智能问答系统、多语言客服机器人以及教育内容生成工具，从而提升低资源语言场景下人工智能服务的适用性和用户体验。

衍生相关工作

MaLLM-Bench的出现催生了一系列围绕低资源语言与文化相关评测的衍生工作。研究者基于该数据集开展了对主流多语言模型如GPT-4、Llama、Gemini等在马来语任务上表现的系统性对比分析，揭示了模型在文化敏感知识问答中的显著差异。此外，该数据集还被用于推动马来语专用模型微调策略的探索，以及跨语言知识蒸馏方法的改进。相关工作进一步延伸到针对东南亚地区其他低资源语言（如印尼语、泰语）的类似基准构建，形成了以MaLLM-Bench为起点的区域性语言模型评测体系建设热潮。