SEACrowd/idk_mrc

IDK-MRC是一个印尼语机器阅读理解数据集，涵盖可回答和不可回答的问题。不可回答的问题是通过问题生成模型和人工编写的问题生成的。每个段落都有一组可回答和不可回答的问题及其对应的答案。此外，还提供了几个基线数据集，如Trans SQuAD、TyDiQA、Model Gen和Human Filt。

IDK-MRC is an Indonesian machine reading comprehension dataset that covers both answerable and unanswerable questions. Unanswerable questions are generated via two approaches: question generation models and manually authored questions. Each paragraph is paired with a set of answerable and unanswerable questions along with their corresponding answers. Additionally, several baseline datasets such as Trans SQuAD, TyDiQA, Model Gen and Human Filt are provided.

原始信息汇总

Idk Mrc 数据集概述

数据集名称

Idk Mrc (IDK-MRC)

语言

印度尼西亚语 (ind)

任务类别

问答 (question-answering)

数据集描述

IDK-MRC 是一个印度尼西亚机器阅读理解数据集，包含可回答和不可回答的问题。该数据集基于 TyDiQA 中的现有可回答问题，并使用问题生成模型和人工编写的问题生成了新的不可回答问题。每个段落都有一组可回答和不可回答的问题及其对应的答案。

相关数据集

1. Trans SQuAD (trans_squad): 机器翻译的 SQuAD 2.0 (Muis and Purwarianti, 2020)
2. TyDiQA (tydiqa): 来自 TyDiQA-GoldP 的印度尼西亚可回答问题集 (Clark et al., 2020)
3. Model Gen (model_gen): TyDiQA + 问题生成模型输出的不可回答问题
4. Human Filt (human_filt): 经过人工标注者筛选的 Model Gen 数据集

支持的任务

问答 (Question Answering)

数据集版本

源版本: 1.0.0
SEACrowd 版本: 2024.06.20

数据集许可

CC-BY-SA 4.0

引用

如果您在使用 Idk Mrc 数据集，请引用以下内容：

@misc{putri2022idk, doi = {10.48550/ARXIV.2210.13778}, url = {https://arxiv.org/abs/2210.13778}, author = {Putri, Rifki Afina and Oh, Alice}, title = {IDK-MRC: Unanswerable Questions for Indonesian Machine Reading Comprehension}, publisher = {arXiv}, year = {2022} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，机器阅读理解（MRC）任务旨在评估模型对文本的理解与推理能力。SEACrowd/idk_mrc数据集，全称为I(n)dontKnow-MRC，是专为印尼语设计的机器阅读理解数据集，其核心创新在于同时涵盖了可回答与不可回答两类问题。该数据集的构建基于现有TyDiQA数据集中的可回答问题，并通过结合问题生成模型自动生成与人工撰写两种方式，为每个段落新增了不可回答问题，从而形成了包含正反例的完整问答对集合。

特点

IDK-MRC数据集最显著的特点在于其独特的双面性，即每个文本段落均配备一组可回答与不可回答的问题，这为评估模型在面对信息缺失或模糊情境下的鲁棒性提供了关键基准。此外，该数据集还额外提供了多个基线数据集，包括机器翻译自SQuAD 2.0的Trans SQuAD、TyDiQA的印尼语子集，以及由模型生成和人工筛选的不可回答问题集，形成了层次化的评估体系，便于研究者深入分析模型在不同数据质量下的表现。

使用方法

使用SEACrowd/idk_mrc数据集时，研究者可通过流行的datasets库便捷加载，只需调用load_dataset('SEACrowd/idk_mrc', trust_remote_code=True)即可获取完整的问答数据。对于采用SEACrowd生态的用户，亦可利用seacrowd库进行加载，支持通过默认配置或指定特定子集（config name）来灵活获取数据。该数据集采用CC-BY-SA 4.0许可协议，允许在遵守相同许可条件下的共享与改编，其官方主页及详细使用说明可在GitHub仓库中找到。

背景与挑战

背景概述

IDK-MRC（I(n)dontKnow-MRC）是由Rifki Afina Putri和Alice Oh于2022年创建的印尼语机器阅读理解数据集，旨在解决现有问答系统中对不可回答问题的忽视。该数据集基于TyDiQA中的可回答问题，结合问题生成模型与人工撰写的不可回答问题，构建了一个包含可回答与不可回答问题对的语料库。IDK-MRC的提出填补了低资源语言（如印尼语）在机器阅读理解领域缺乏不可回答问题研究的空白，为评估模型在真实场景中的鲁棒性提供了重要基准。该数据集通过SEACrowd平台发布，采用CC-BY-SA 4.0许可，对推动东南亚语言的自然语言处理研究具有显著影响力。

当前挑战

IDK-MRC所面临的挑战主要体现在两个方面。在领域问题层面，它针对机器阅读理解任务中模型对不可回答问题的识别能力不足，要求模型不仅能够从文本中提取答案，还需准确判断问题是否可答，这考验了模型的语义理解与逻辑推理能力。在构建过程中，挑战包括：从TyDiQA筛选可回答问题需确保段落与问题的语义关联性；利用问题生成模型自动生成不可回答问题后，需通过人工过滤以消除噪声和歧义；同时，人工撰写不可回答问题需平衡自然性与难度，避免过于简单或脱离上下文。此外，跨数据集（如Trans SQuAD、TyDiQA）的整合与标注一致性维护也增加了数据构建的复杂性。

常用场景

经典使用场景

在自然语言处理与机器阅读理解的研究版图中，SEACrowd/idk_mrc数据集以其独特的对可回答与不可回答问题的双重覆盖，成为印尼语阅读理解任务中不可或缺的基准资源。该数据集以TyDiQA中已有可回答问题为基础，结合问题生成模型与人工撰写的不可回答问题，构建出每个段落均配备一组可回答与不可回答问题的精细结构。这一设计使得研究者能够在统一的框架下系统评估模型对不可回答问题的拒绝能力，从而推动阅读理解系统在真实场景中更加鲁棒与可靠。

实际应用

在实际应用中，IDK-MRC所蕴含的不可回答问题处理能力对于构建可靠的人机交互系统至关重要。例如在智能客服、法律咨询或医疗问答等高风险场景中，系统若无法识别问题超出知识范围而强行作答，可能导致严重后果。该数据集训练出的模型能够更准确地判断何时应表达“未知”而非提供错误信息，从而提升对话系统的安全性、透明度与用户信任。此外，该资源也可用于教育领域的自动问答评估，辅助识别学生对知识盲区的提问。

衍生相关工作

IDK-MRC数据集的诞生衍生了一系列富有影响力的研究工作。其核心论文《IDK-MRC: Unanswerable Questions for Indonesian Machine Reading Comprehension》为印尼语阅读理解设立了新的评估范式。围绕该数据集，研究者对比了多种基线方法，包括机器翻译的SQuAD 2.0（Trans SQuAD）、原始TyDiQA、模型生成的不可回答问题集（Model Gen）以及经过人工筛选的精炼版本（Human Filt），系统揭示了不同数据构建策略对模型性能的影响。这些工作共同推动了东南亚语言资源建设与方法论的发展。