rifkiaputri/idk-mrc

IDK-MRC是一个印尼语的机器阅读理解数据集，涵盖了可回答和不可回答的问题。该数据集基于TyDiQA中的现有可回答问题，通过问题生成模型和人工编写的问题生成了新的不可回答问题。数据集中的每个段落都有一组可回答和不可回答的问题及其对应的答案。数据集主要用于训练机器阅读理解或抽取式问答模型。

IDK-MRC is an Indonesian machine reading comprehension (MRC) dataset encompassing both answerable and unanswerable questions. It is built upon existing answerable questions sourced from TyDiQA, with new unanswerable questions generated via question generation models and manually authored questions. Each passage in the dataset is paired with a set of answerable and unanswerable questions along with their corresponding answers. The dataset is primarily intended for training machine reading comprehension or extractive question answering models.

原始信息汇总

数据集概述：IDK-MRC

数据集描述

• 名称: IDK-MRC
• 语言: 印度尼西亚语
• 许可证: CC-BY-4.0
• 多语言性: 单语种
• 大小: 1K<n<10K
• 任务类别: 问答
• 任务ID: 抽取式问答

数据集结构

数据实例

每个数据实例包含以下字段：

• context: 上下文段落，字符串类型
• qas: 问题列表，每个问题包含：
  • id: 问题ID，字符串类型
  • is_impossible: 是否无法回答，布尔类型
  • question: 问题内容，字符串类型
  • answers: 答案列表，每个答案包含：
    • text: 答案内容，字符串类型
    • answer_start: 答案开始位置，整数类型

数据分割

• train: 9,332个实例（5,042可回答，4,290不可回答）
• valid: 764个实例（382可回答，382不可回答）
• test: 844个实例（422可回答，422不可回答）

数据集创建

注释过程

• 注释者: 四名具有2年以上印度尼西亚语NLP注释经验的本地注释者
• 注释任务: 验证模型生成的不可回答问题并编写新的不可回答问题
• 注释者资格: 印度尼西亚本地人，居住在爪哇岛，年龄在18至34岁之间，每小时支付约$7.5

使用考虑

• 数据集使用印度尼西亚语的TyDiQA-GoldP数据集中的段落和可回答问题构建
• 模型生成的问题经过人工注释者验证，以减少有害内容的风险
• 建议在使用数据集和相关模型之前进行进一步评估，特别是对于预训练语言模型

附加信息

• 许可证: CC BY-SA 4.0
• 引用信息: 请参考提供的BibTeX条目进行引用

搜集汇总

数据集介绍

构建方式

IDK-MRC数据集基于TyDiQA-GoldP中的印尼语段落与可回答问题构建，旨在引入不可回答问题以提升机器阅读理解模型的鲁棒性。不可回答问题的生成融合了自动化流程与人工校验：首先利用mT5模型生成候选问题，再经由XLM-R模型进行初步筛选，最后由具备印尼语NLP标注经验的母语者进行人工验证与修正。此外，标注人员还被要求独立撰写额外的不可回答问题，以确保数据集的多样性与覆盖度。最终，每个段落均配备一组经过筛选的可回答问题、经过筛选的不可回答问题以及人工新增的不可回答问题，形成平衡且高质量的数据结构。

特点

该数据集的核心特点在于其明确区分了可回答与不可回答两类问题，每类问题在训练、验证和测试集中均保持近似均衡的分布，总计包含超过一万个样本。每个样本由段落上下文、问题列表及对应的答案起始位置组成，其中不可回答问题的答案字段为空，并标记为'impossible'。这种结构使得模型能够学习识别何时不应给出答案，从而有效应对开放域问答中的信息缺失场景。数据来源为维基百科，确保了内容的客观性，且所有模型生成的问题均经过人工审核，降低了有害或偏见内容的引入风险。

使用方法

该数据集主要面向抽取式机器阅读理解任务的训练与评估，支持使用标准问答模型如mT5、IndoBERT、mBERT及XLM-R进行实验。使用时，可通过HuggingFace Datasets库直接加载，数据集已划分为训练集（9,332条）、验证集（764条）和测试集（844条）。模型需根据给定的段落上下文输出答案的文本片段及其起始位置，对于不可回答问题则应预测无答案。建议在真实应用前对预训练语言模型进行额外的偏见评估，以确保模型输出的安全性与公平性。

背景与挑战

背景概述

在自然语言处理领域，机器阅读理解（Machine Reading Comprehension, MRC）模型的鲁棒性一直是研究焦点，尤其是模型面对不可回答问题时，常表现出过度自信的错误推断。为应对这一挑战，Rifki Afina Putri与Alice Oh于2022年联合发布了IDK-MRC数据集，旨在填补印尼语MRC中不可回答问题研究的空白。该数据集基于TyDiQA-GoldP中的印尼语段落与可回答问题，通过mT5与XLM-R模型自动生成不可回答问题，并经四位母语为印尼语的专业标注员人工验证与补充。作为首个系统覆盖印尼语可答与不可答问题的资源，IDK-MRC不仅推动了低资源语言MRC的鲁棒性研究，也为多语言问答系统的可信度评估提供了关键基准。

当前挑战

IDK-MRC数据集面临的挑战首先体现在领域核心问题上：现有MRC模型普遍缺乏对不可回答问题的判别能力，易将无答案问题强行生成错误回答，导致在真实应用场景中产生误导性输出。其次，在数据集构建过程中，自动生成的不可回答问题需通过人工标注员逐一审核，以确保语义合理性与上下文一致性，但标注员的主观判断差异可能引入噪声；同时，从TyDiQA-GoldP引入的维基百科段落虽力求中立，但预训练语言模型（如mT5、IndoBERT）所依赖的Common Crawl语料中隐含的偏见或刻板印象，可能通过生成问题间接影响数据集质量。此外，印尼语作为低资源语言，其标注资源有限，使得大规模高质量不可回答问题的构建与验证成本高昂，进一步限制了数据集的规模与泛化能力。

常用场景

经典使用场景

在机器阅读理解（MRC）领域，IDK-MRC数据集为印尼语问答系统提供了兼具可答与不可答问题的独特评测资源。该数据集基于TyDiQA-GoldP中的段落与可答问题，通过mT5与XLM-R模型自动生成不可答问题，并辅以人工验证与撰写，构建出每个段落均包含可答与不可答问题集合的精细结构。研究者通常利用该数据集训练抽取式问答模型，评估模型在面对无法从文本中提取答案的问题时的鲁棒性，从而推动MRC系统从简单匹配向深层语义理解的演进。

解决学术问题

IDK-MRC数据集有效解决了印尼语机器阅读理解研究中长期存在的关键学术难题：如何系统性地评测模型对不可答问题的判别能力。传统问答数据集如SQuAD 2.0主要聚焦英语，而印尼语领域缺乏类似的标准化评估资源。该数据集通过精心设计的标注流程，确保不可答问题在语义上与上下文相关但无法从文本中直接推断，从而填补了低资源语言在鲁棒性问答评估上的空白。其意义在于为研究者提供了量化模型在避免过度自信错误回答方面性能的基准，促进了跨语言MRC技术的均衡发展。

衍生相关工作

IDK-MRC数据集催生了多项具有影响力的衍生研究工作。其构建方法论——结合生成模型与人工审核来创建不可答问题——为其他低资源语言的类似数据集开发提供了可复现的范式。后续研究基于该数据集探索了多任务学习框架，将可答性判别与答案抽取联合优化，显著提升了模型在复杂场景下的泛化能力。此外，该数据集还被用于评估预训练语言模型（如IndoBERT、mBERT）在印尼语上的推理缺陷，推动了针对印尼语特点的模型改进工作，例如引入对抗训练或注意力机制增强来应对不可答问题的挑战。