MSQA

MSQA（多语言与跨文化问答）是一个基准数据集，包含1,064个原生问题，旨在评估大语言模型是否具备真实、本地化的文化知识，而非仅表面上的文化流利度。所有问题均直接来源于11种语言的本地化资料（非英语翻译），每个问题对应一个单一可验证的答案。数据集仅提供测试集，涵盖英语、中文、葡萄牙语、泰语、俄语、韩语、法语、日语、马来语、印尼语和西班牙语共11种语言，样本量在80至151之间。每个样本包含ID、会话ID、语言（BCP-47格式）、文化圈、文化类别、原生语言问题、答案、问题与答案的中文参考翻译（可能为空）、来源URL及描述等字段。数据涵盖五大文化维度：历史与集体记忆、语言表达与传播艺术、文化产品与符号、信仰价值观与知识体系、社会规范与习俗。数据集以JSONL和CSV格式提供，采用CC BY 4.0许可证发布，适用于多语言文化知识问答、跨文化理解评估及大语言模型文化能力基准测试等任务。MSQA (Multilingual and Cross-Cultural Question Answering) is a benchmark dataset containing 1,064 native questions, designed to evaluate whether large language models (LLMs) possess authentic, localized cultural knowledge rather than merely superficial cultural fluency. All questions are directly sourced from localized materials in 11 languages (not English translations), with each question corresponding to a single verifiable answer. The dataset only provides a test set, covering 11 languages including English, Chinese, Portuguese, Thai, Russian, Korean, French, Japanese, Malay, Indonesian and Spanish, with the sample size ranging from 80 to 151 per language. Each sample includes fields such as ID, conversation ID, language (in BCP-47 format), cultural sphere, cultural category, native-language question, answer, Chinese reference translation of the question and answer (which may be empty), source URL and description. The dataset covers five cultural dimensions: history and collective memory, linguistic expression and communication arts, cultural products and symbols, belief systems, values and knowledge frameworks, as well as social norms and customs. It is provided in JSONL and CSV formats, released under the CC BY 4.0 license, and is applicable to tasks such as multilingual cultural knowledge question answering, cross-cultural understanding evaluation and benchmark testing of LLM cultural capabilities.

原始信息汇总

数据集概述：MSQA

MSQA（多语言多文化简单问答数据集） 是一个用于评估大型语言模型是否具备真实的、基于本土文化知识的基准数据集。它包含 1,064 道由母语者创作或从本土源材料（非英文翻译）中精选的问题，每道问题都有唯一可验证的答案。

• 许可证：CC BY 4.0
• 任务类别：问答（question-answering）
• 语言：共 11 种语言（英语、中文、泰语、俄语、韩语、法语、日语、马来语、印度尼西亚语、西班牙语、葡萄牙语），每种语言的具体数量见下方表格。
• 数据集规模：1K < n < 10K（实际为 1,064 条）
• 配置：仅提供 default 配置，包含 test 一个拆分（1,064 条数据，存储于 msqa.jsonl 文件）。

数据字段

每条数据包含以下字段：

字段	类型	描述
id	string	唯一标识符（以语言前缀开头，例如 PT-01）
session_id	string	来源创作/会话 ID
language	string	BCP-47 风格的语言代码（例如 pt-PT、zh-ZH、en-EN）
culture_circle	string	问题所针对的文化圈（例如 Portuguese、Latin American）
category	string	文化维度分类（共 5 类，见下方）
question	string	原始语言的问题
answer	string	唯一的正确答案
question_zh	string	问题的中文翻译（可能为空，仅作参考）
answer_zh	string	答案的中文翻译（可能为空，仅作参考）
source_url	string	主要来源 URL（可能为空）
source_url_desc	string	来源的简短描述（可能为空）

数据构成

• 语言分布（共 11 种语言，1,064 条）：

语言	数量		语言	数量
英语 (en-EN)	151		日语 (ja-JP)	83
中文 (zh-ZH)	150		马来语 (ms-MY)	82
泰语 (th-TH)	95		印度尼西亚语 (id-ID)	81
俄语 (ru-RU)	92		西班牙语 (es-ES)	80
韩语 (ko-KR)	86		葡萄牙语 (pt-PT)	80
法语 (fr-FR)	84

• 文化维度分布（共 5 类）：

维度	数量
历史与集体记忆	261
语言表达与传播艺术	220
文化产品与符号	208
信仰、价值观与知识体系	189
社会规范与习俗	186

数据来源与引用

• 问题来源于母语参考资料（如百科全书、官方资料、文化文献），source_url 字段记录了可用时的主要来源。
• 数据集以 CC BY 4.0 许可证发布，但引用第三方来源时请同时尊重原始来源的条款。
• 如需引用，请参阅仓库中的 README.md 文件。

加载方式

python

从 Hugging Face Hub 加载

from datasets import load_dataset ds = load_dataset("m-a-p/MSQA", split="test")

从本地文件加载（需要仓库中的 msqa.data 模块）

from msqa.data import load_dataset items = load_dataset(path="data/msqa.jsonl", language="pt-PT")

搜集汇总

数据集介绍

构建方式

MSQA是一个面向多语言与多文化场景的简单问答基准数据集，包含1,064条由母语者从本地语言资料中精心撰写或筛选的原生态问题，而非从英语翻译而来。每条问题均附有唯一可验证的答案，覆盖英语、中文、泰语、俄语、韩语、法语、日语、马来语、印尼语、西班牙语和葡萄牙语等11种语言，每种语言的问题数量在80至151之间。数据构建遵循严格的文化真实性原则，来源包括百科全书、官方文献及文化档案，并通过source_url字段记录原始出处，最终由内部工具处理为整洁的JSONL格式。

使用方法

MSQA仅提供单一测试集划分，共1,064条样本，可通过Hugging Face Datasets库直接加载，命令为ds = load_dataset('m-a-p/MSQA', split='test')。用户也可从本地JSONL文件加载，并可按语言参数筛选特定条目，例如对葡萄牙语数据调用load_dataset(path='msqa.jsonl', language='pt-PT')。数据集的CC BY 4.0许可协议允许广泛使用，但需尊重第三方原始资料的引用条款。参考论文附录中的难度分类指南，研究者可进一步分析模型在不同难度层级上的表现。

背景与挑战

背景概述

MSQA（Multilingual and Multicultural SimpleQA）是一个面向大规模语言模型（LLM）文化知识评估的多语言、多文化基准数据集，由国际研究团队于近期创建。该数据集包含1,064道源自11种语言（如中、英、法、日、泰等）的原创问题，每道问题均来自母语资料（非翻译所得），并对应唯一可验证的答案。其核心研究问题在于，当前LLM往往仅展现出表面上的文化流利性，而缺乏真正的、扎根于本地情境的文化知识。MSQA通过覆盖历史记忆、语言表达、文化符号、信仰体系与社会规范五大文化维度的测试，为衡量模型是否具备真实文化理解力提供了关键工具，对推动多语言与跨文化自然语言处理领域的研究具有重要意义。

当前挑战

MSQA所解决的领域问题在于，现有LLM评估基准多聚焦于通用知识或翻译等价的文化测试，忽略了文化知识的本地性和非对称性，导致模型在文化理解上‘看似流利却实则空洞’。其构建过程面临多重挑战：首先，问题编写必须完全基于母语原生来源（如本土百科全书、官方文献），避免英语中心主义的翻译偏差；其次，需确保每道问题只有一个标准答案，且答案可追溯至可靠的文化资料，这在多语言、多文化背景下收集和校验的难度极大；此外，如何平衡11种语言及5个文化维度的样本数量，使基准能公平反映不同文化圈的独特性，亦是关键设计挑战。

常用场景

经典使用场景

MSQA（Multilingual and Multicultural SimpleQA）是一个专为评估大语言模型跨语言与跨文化真实知识掌握程度而设计的基准数据集。其经典使用场景在于衡量模型是否具备扎根于本土语境的文化知识，而非仅依赖语言表面流畅性所呈现的‘文化假象’。该数据集包含来自11种语言、5个文化维度的1,064道原生问题，每道题目均从当地母语资料中精炼而成，答案唯一且可验证。研究者通常利用MSQA对模型在历史文化记忆、语言表达艺术、文化产品象征、信仰价值体系及社会习俗规范等维度的表现进行系统性诊断，从而揭示模型在全球化语境下知识覆盖的深度与盲区。

解决学术问题

MSQA旨在填补当前大语言模型评估中文化知识真实性与本土化不足的学术空白。现有基准多依赖英文数据或翻译而来的多语言版本，难以甄别模型究竟是对文化概念具备深层理解，还是仅凭训练语料中的表面模式作答。MSQA通过引入原生来源、母语编写、不需翻译的问题，直指模型在跨文化环境下的知识‘真伪’问题。该数据集的发布推动了关于语言模型文化能力度量方法的学术讨论，促使研究者重新审视模型训练的语料均衡性、文化对齐策略及评价标准，为构建真正具备全球文化素养的AI系统提供了关键验证工具。

实际应用

在实际应用中，MSQA可用于大语言模型的多语种文化适配性测试，帮助企业和研究机构在产品发布前识别模型在特定区域文化知识上的短板。例如，面向东南亚或拉美市场的智能客服、教育辅助系统、跨文化内容生成工具，可借助MSQA评估模型对当地历史事件、社交礼仪、流行符号等知识的掌握水平，进而指导数据增强与微调策略。此外，该数据集还能服务于多语言信息检索系统和知识图谱的本地化验证，确保其能准确回应当地用户基于文化语境提出的问题，提升用户体验与信任度。

数据集最近研究

最新研究方向

MSQA（多语言多文化简单问答）数据集的问世，标志着大语言模型文化能力评估领域迈入全新阶段。该基准聚焦于检验模型是否真正掌握本地化的文化知识，而非仅呈现表面流利的跨文化应答。其核心突破在于全部问题均由母语者基于本土源材料创作，杜绝翻译偏差，覆盖英语、中文等11种语言及历史记忆、语言艺术、文化符号、价值信仰、社会习俗五大文化维度。在自然语言处理前沿，MSQA正催化两项关键探索：一是作为细粒度评测工具，揭示模型在不同文明圈知识上的能力鸿沟；二是推动训练数据中文化多样性的系统性注入，以期构建更具真实文化感知的智能系统。这一资源对于打破评测中的数据污染与应试表现迷思，进而促进AI跨文化语义对齐研究，具有奠基意义。