alexandrainst/scandi-qa

ScandiQA是一个包含丹麦语、挪威语和瑞典语的问题和答案的数据集。所有样本均来自Google搜索的大型问答数据集Natural Questions (NQ)。Scandinavian的问题和答案来自MKQA数据集，其中10,000个NQ样本被手动翻译成丹麦语、挪威语和瑞典语。然而，这并未包括翻译的上下文，阻碍了抽取式问答模型的训练。为了解决这个问题，数据集将NQ数据集与MKQA数据集合并，并从NQ数据集中提取上下文作为“长答案”，或者通过定位与问题具有最大余弦相似度且包含所需答案的段落来提取上下文。此外，MKQA数据集中的许多答案进行了“语言规范化”，例如所有日期答案都转换为“YYYY-MM-DD”格式，这意味着这些答案在大多数情况下不会出现在任何段落中。通过扩展MKQA答案，添加了合理的“答案候选”，即答案的轻微扰动或翻译。提取上下文后，使用DeepL翻译服务将其翻译为丹麦语和瑞典语，使用Google翻译服务将其翻译为挪威语。翻译后，确保Scandinavian答案确实出现在翻译后的上下文中。由于在“合并阶段”和“翻译阶段”都对MKQA样本进行了过滤，因此无法将10,000个样本完全转换为Scandinavian语言，而是每种语言大约得到8,000个样本。这些样本进一步分为训练、验证和测试集，后两者各包含大约750个样本。分割的方式使得每个分割中没有答案的样本比例大致相同。

ScandiQA is a question-answering dataset consisting of question-answer pairs in Danish, Norwegian, and Swedish. All its source materials originate from Google Search’s large-scale question answering dataset Natural Questions (NQ). Specifically, the Scandinavian question-answer pairs are derived from the MKQA dataset, where 10,000 NQ samples were manually translated into the three target languages. However, the translated samples only included question and answer pairs without corresponding context, which hindered the training of extractive question answering models.

To address this limitation, the dataset merged the NQ dataset with the MKQA dataset. Contexts were then extracted in two ways: either directly taken from the NQ dataset as "long answers", or identified by locating the paragraph that exhibits the maximum cosine similarity to the given question and contains the target answer.

Furthermore, many answers in the MKQA dataset underwent "language normalization". For example, all date-based answers were converted to the "YYYY-MM-DD" format, meaning that these answers would not appear in any source paragraph in most cases. To mitigate this issue, reasonable "answer candidates"—slight perturbations or translations of the original answers—were added by expanding the MKQA answer entries.

After context extraction, the contexts were translated into Danish and Swedish using the DeepL translation service, and into Norwegian via Google Translate. Post-translation verification was performed to confirm that the Scandinavian answers indeed appeared in the translated contexts.

Due to filtering applied to MKQA samples during both the "merging phase" and "translation phase", it was not feasible to fully convert all 10,000 initial samples into the three Scandinavian languages. Instead, approximately 8,000 valid samples were retained for each language.

These samples were further split into training, validation, and test sets, with the validation and test sets each containing roughly 750 samples. The splitting strategy was designed to ensure that the proportion of samples without answers remained roughly consistent across all three splits.

原始信息汇总

数据集概述

名称： ScandiQA

语言：

• 丹麦语 (da)
• 瑞典语 (sv)
• 挪威语 (no)

许可：

• CC BY-SA 4.0

多语言性：

• 多语言

大小分类：

• 1K<n<10K

源数据集：

• MKQA
• Natural Questions

任务类别：

• 问答

任务ID：

• extractive-qa

数据集详情

数据集总结： ScandiQA 是一个包含丹麦语、挪威语和瑞典语的问答数据集。所有样本源自 Natural Questions 数据集，该数据集来自 Google 搜索的大型问答数据集。ScandiQA 中的问题和答案来自 MKQA 数据集，其中 10,000 个 NQ 样本被手动翻译成丹麦语、挪威语和瑞典语。数据集通过合并 NQ 和 MKQA 数据集，并提取上下文，以支持训练抽取式问答模型。

支持的任务和排行榜： 该数据集旨在用于训练机器学习模型进行抽取式问答。目前没有活跃的排行榜。

数据集结构：

• 数据实例：

  • 下载的数据集文件大小：69 MB
  • 生成的数据集大小：67 MB
  • 总磁盘使用量：136 MB

• 数据字段：

  • example_id: int64
  • question: string
  • answer: string
  • answer_start: int64
  • context: string
  • answer_en: string
  • answer_start_en: int64
  • context_en: string
  • title_en: string

• 数据分割：

  名称	训练	验证	测试
  da	6311	749	750
  sv	6299	750	749
  no	6314	749	750

数据集创建

来源数据： 数据集源自 Apple 的 MKQA 和 Google 的 Natural Questions 数据集。

许可证信息： 数据集根据 CC BY-SA 4.0 许可证授权。

搜集汇总

数据集介绍

构建方式

ScandiQA数据集专为斯堪的纳维亚语系的抽取式问答任务而设计，其构建过程融合了Natural Questions（NQ）与MKQA两大资源。首先，研究团队从MKQA中获取经人工翻译为丹麦语、瑞典语和挪威语的10,000个NQ样本，但这些样本缺乏上下文。为解决此问题，他们从NQ中提取包含答案的段落作为“长答案”，或借助余弦相似度定位与问题最相关且含答案的段落。针对MKQA中答案被“语言标准化”导致无法在段落中匹配的难题，团队通过生成轻微扰动或翻译变体来扩展答案候选集。随后，利用DeepL和Google翻译服务将上下文分别译至丹麦语、瑞典语和挪威语，并验证斯堪的纳维亚答案确实存在于译文中。经过合并与翻译阶段的筛选，最终每个语言获得约8,000个样本，并按比例划分为训练集、验证集和测试集，确保无答案样本的比例在各子集中保持一致。

特点

该数据集的核心特点在于其多语言覆盖与高质量构建策略。它同时涵盖丹麦语、瑞典语和挪威语三种斯堪的纳维亚语言，填补了该区域缺乏黄金标准问答数据集的空白。每个样本均包含原始英文与对应斯堪的纳维亚语的问答对及上下文，且通过人工翻译与自动化验证相结合的方式，确保了答案在译文中的存在性，形成坚实的“白银标准”。数据集中无答案样本的比例在各子集中均衡分布，增强了模型训练的鲁棒性。此外，每个样本还保留了来自NQ的英文上下文、答案及标题，为跨语言迁移学习提供了便利。

使用方法

该数据集可直接用于训练和评估斯堪的纳维亚语言的抽取式问答模型。用户可通过HuggingFace Datasets库轻松加载，例如使用`load_dataset('alexandrainst/scandi-qa', 'da')`加载丹麦语子集，类似地可用`'sv'`或`'no'`指定瑞典语或挪威语。数据集已预分为训练、验证和测试集，各子集大小明确。模型输入需包含`question`和`context`字段，输出为`answer`及起始位置`answer_start`。此外，`context_en`和`answer_en`字段可用于跨语言实验或多任务学习。建议在微调时结合各语言子集，以提升模型在斯堪的纳维亚语系上的泛化能力。

背景与挑战

背景概述

在自然语言处理领域，抽取式问答系统的发展长期受限于高质量标注数据的匮乏，尤其对于北欧斯堪的纳维亚语系（丹麦语、瑞典语、挪威语）而言，此前尚未存在经过严格校对的黄金标准数据集。为填补这一空白，丹麦亚历山德拉研究所的研究人员Dan Saattrup Nielsen于2022年主导创建了ScandiQA数据集。该数据集巧妙融合了谷歌Natural Questions（NQ）与苹果MKQA两个大规模英文问答资源，通过将MKQA中经人工翻译的斯堪的纳维亚语问题与NQ中的英文上下文进行对齐，并借助DeepL和谷歌翻译服务完成语境的跨语言转换，最终构建出包含约8000个样本/语言的抽取式问答语料库。这一工作不仅为低资源语言场景下的机器阅读理解研究提供了关键基础资源，更开创性地解决了多语言问答数据集中答案形式标准化与上下文语义匹配的协同难题。

当前挑战

ScandiQA数据集面临的核心挑战体现在三个层面：其一，领域问题层面，斯堪的纳维亚语系缺乏大规模、高质量的抽取式问答数据集，现有资源（如MKQA）仅提供孤立的问题-答案对而缺失关键上下文，导致模型无法学习从段落中定位答案的推理能力，这直接制约了北欧语言机器阅读理解技术的进步。其二，构建过程中的语言标准化难题，MKQA对日期、数值等答案实施了格式统一（如将日期强制转换为YYYY-MM-DD），这种规范化处理使得答案几乎不可能以原始形态出现在自然段落中，迫使研究者必须通过扰动或翻译生成候选答案集合，但这又引入了语义漂移的风险。其三，跨语言语境对齐的精度瓶颈，自动翻译后的上下文需严格包含斯堪的纳维亚语答案，而翻译质量波动与源语言语义歧义共同导致约20%的样本在过滤阶段被淘汰，最终数据集规模从理论万级缩减至八千级，暴露出多语言数据管道中精度与覆盖率的固有矛盾。

常用场景

经典使用场景

ScandiQA数据集专为斯堪的纳维亚语系的抽取式问答任务而设计，其经典使用场景在于训练和评估能够在丹麦语、瑞典语和挪威语中精准定位答案的机器阅读理解模型。研究者利用该数据集提供的“问题-答案-上下文”三元组，引导模型从给定的文本段落中抽取连续的字词片段作为答案。这一过程不仅检验模型对北欧语言语法与语义的深层理解，还通过保留英文原版字段，支持跨语言迁移学习与零样本推理能力的探究。

实际应用

在实际应用中，ScandiQA赋能了北欧地区智能客服、数字图书馆检索及教育辅助系统的构建。例如，丹麦公共信息平台的自动问答模块可借助该数据集训练模型，从政策文档中直接提取公民咨询的答案；瑞典医疗门户网站能利用其实现病历摘要的快速定位。此外，挪威媒体机构通过该数据集优化新闻档案的语义搜索，使读者能以自然语言提问并获取精确段落，显著提升了跨语言信息服务的用户体验与效率。

衍生相关工作

基于ScandiQA的衍生工作主要集中于北欧语言预训练模型的微调与评估，例如丹麦语BERT（BotXO BERT）和瑞典语KB-BERT的抽取式问答能力验证。该数据集还被用于多语言知识蒸馏研究，探索如何将英语问答知识迁移至低资源语言。此外，部分工作借鉴其“答案候选扩展”策略，解决了翻译数据中答案格式不一致的问题，为后续构建如斯堪的纳维亚语事实验证（ScandiFact）和对话式问答（ScandiDialogue）等任务提供了方法论基础。