SEACrowd/mkqa

多语言知识问答（MKQA）是一个开放领域的问答评估集，包含10k个问题-答案对，涵盖了26种不同类型的语言，总计260k个问题-答案对。支持的语言包括高棉语（khm）、马来语（zsm）、泰语（tha）和越南语（vie）。该数据集主要用于问答任务。

Multilingual Knowledge Questions and Answers (MKQA), an open-domain question answering evaluation set comprising 10k question-answer pairs aligned across 26 typologically diverse languages (260k question-answer pairs in total). Supported languages include Khmer (khm), Malay (zsm), Thai (tha), and Vietnamese (vie). The dataset is primarily used for question answering tasks.

原始信息汇总

Mkqa 数据集概述

数据集简介

• 名称: Mkqa
• 类型: 多语言开放领域问答数据集
• 规模: 包含10k个问答对，覆盖26种语言，总计260k个问答对

语言支持

• khm
• zsm
• tha
• vie

任务类别

• 问答（Question Answering）

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

许可证

• Creative Commons Attribution Share Alike 3.0 (cc-by-sa-3.0)

引用

@article{longpre-etal-2021-mkqa, title = "{MKQA}: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering", author = "Longpre, Shayne and Lu, Yi and Daiber, Joachim", editor = "Roark, Brian and Nenkova, Ani", journal = "Transactions of the Association for Computational Linguistics", volume = "9", year = "2021", address = "Cambridge, MA", publisher = "MIT Press", url = "https://aclanthology.org/2021.tacl-1.82", doi = "10.1162/tacl_a_00433", pages = "1389--1406", }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

Mkqa（Multilingual Knowledge Questions and Answers）是一个面向多语言开放域问答的评估数据集，由Apple研究团队构建。该数据集通过将英文问答对人工翻译或借助专业语言学知识进行文化适配，对齐至26种类型学上多样的语言，涵盖高棉语、马来语、泰语和越南语等东南亚语言。每个语言版本包含10,000个问答对，总计形成260,000个高质量标注样本，确保跨语言语义一致性与知识覆盖的均衡性。

特点

该数据集的核心特点在于其语言多样性与知识广度的深度融合。问答对来源于开放域知识库，覆盖实体、事件、概念等多种类型，且每个问题均配备精确答案。不同语言版本间通过严格的对齐流程保持内容等价性，为跨语言问答系统的鲁棒性评估提供了基准。此外，数据集采用Creative Commons Attribution Share Alike 3.0许可协议，支持学术研究与商业应用中的广泛传播。

使用方法

用户可通过Hugging Face的datasets库便捷加载该数据集，调用`load_dataset("SEACrowd/mkqa", trust_remote_code=True)`即可获取完整数据。针对东南亚语言研究场景，还可通过seacrowd库以`sc.load_dataset("mkqa", schema="seacrowd")`方式加载，并利用`available_config_names`方法探索不同子集配置。数据以标准问答格式组织，可直接用于微调多语言预训练模型或评估开放域问答系统的跨语言泛化能力。

背景与挑战

背景概述

多语言开放域问答系统是自然语言处理领域的重要研究方向，旨在从大规模知识库中检索并生成跨语言的精准答案。然而，现有基准数据集多聚焦于英语等资源丰富语言，严重制约了模型在低资源语言场景下的泛化能力。为弥补这一空白，Shayne Longpre、Yi Lu与Joachim Daiber等研究者于2021年提出了MKQA（Multilingual Knowledge Questions and Answers）数据集，该数据集由苹果公司主导构建，包含10,000个问题-答案对，并精心对齐至26种类型学差异显著的语言，总计形成260,000个样本。MKQA的发布为多语言问答研究提供了高质量、多样化的评估基准，显著推动了跨语言信息检索与知识推理领域的发展，尤其对东南亚语言（如高棉语、马来语、泰语、越南语）的研究产生了深远影响。

当前挑战

MKQA所解决的核心领域挑战在于多语言开放域问答中的数据稀缺与语言多样性问题。传统问答系统依赖大规模单语语料，难以处理形态复杂或资源匮乏的语言，而MKQA通过跨语言对齐设计，要求模型在26种语言间实现知识迁移与语义匹配，这对多语言编码器的表征能力和跨语言泛化性能提出了极高要求。在构建过程中，研究者面临了严峻挑战：首先，确保10,000个问题在每种语言中语义等价且自然流畅，需依赖母语者进行精细翻译与校对；其次，答案类型涵盖实体、短语与句子，需设计统一的标注规范以兼容不同语言的句法结构；最后，数据集的平衡性维护困难，需避免高频语言（如英语）对低资源语言的覆盖偏差，从而保证评估的公平性与鲁棒性。

常用场景

经典使用场景

在多语言开放域问答研究中，Mkqa（Multilingual Knowledge Questions and Answers）被广泛用作评估跨语言知识检索与答案生成能力的基准数据集。该数据集精心构建了10,000个问答对，并覆盖包括高棉语、马来语、泰语和越南语在内的26种类型学多样性语言，总计260,000个问答实例。研究者常利用这一资源验证模型在低资源语言上的泛化性能，尤其关注从源语言到目标语言的零样本迁移能力，从而推动多语言理解技术的边界拓展。

实际应用

在实际应用中，Mkqa为构建面向东南亚地区用户的智能问答系统提供了坚实的数据基础。例如，在旅游信息咨询、教育辅助和本地化客服等场景中，模型需要同时理解高棉语、泰语和越南语等多种语言并给出准确答案。基于Mkqa训练的问答系统能够有效提升对低资源语言的支持质量，从而弥合数字鸿沟，促进多语言社区的信息可及性。此外，该数据集也被整合到SEACrowd数据枢纽中，为区域性的多语言应用开发提供了标准化评测工具。

衍生相关工作

Mkqa的诞生催生了一系列重要的衍生研究工作。其原始论文由Longpre等人于2021年发表在《Transactions of the Association for Computational Linguistics》上，系统阐述了数据集构建方法与语言学多样性设计原则。随后，该数据集被广泛用于评估各类多语言预训练模型，如XLM-R和mT5的跨语言问答能力。此外，SEACrowd项目进一步将Mkqa纳入其多语言多模态数据枢纽，作为东南亚语言基准套件的核心组成部分，从而衍生出针对区域语言特性的模型优化与评测工作，推动了相关领域研究的深入发展。