ARCD

由众包工作人员在维基百科文章中提出的 1,395 个问题以及斯坦福问答数据集 (Arabic-SQuAD) 的机器翻译组成。本文使用维基百科作为我们的知识源来解决开放域事实阿拉伯语问答 (QA) 的问题。这将任何问题的答案限制为 Wikipedia 中的一段文本。阿拉伯语的开放域 QA 面临三个挑战：阿拉伯语注释 QA 数据集、大规模高效信息检索和机器阅读理解。为了解决缺乏阿拉伯语 QA 数据集的问题，我们提供了阿拉伯语阅读理解数据集 (ARCD)，该数据集由众包工作人员在 Wikipedia 文章中提出的 1,395 个问题组成，以及斯坦福问答数据集 (Arabic-SQuAD) 的机器翻译。我们的阿拉伯语开放域问答系统（SOQAL）基于两个组件：（1）使用分层 TF-IDF 方法的文档检索器和（2）使用预训练双向变压器 BERT 的神经阅读理解模型.我们在 ARCD 上的实验表明我们的方法的有效性，基于 BERT 的阅读器获得了 61.3 F1 分数，我们的开放域系统 SOQAL 获得了 27.6 F1 分数。

This dataset consists of 1,395 questions crowdsourced from Wikipedia articles and machine-translated versions of the Stanford Question Answering Dataset (Arabic-SQuAD). We use Wikipedia as our knowledge source to tackle open-domain factual Arabic question answering (QA), which restricts the answer to any given question to a passage within Wikipedia. Three major challenges exist for open-domain QA in Arabic: the scarcity of annotated QA datasets, large-scale efficient information retrieval, and machine reading comprehension. To address the lack of Arabic QA datasets, we present the Arabic Reading Comprehension Dataset (ARCD), which comprises 1,395 questions crowdsourced from Wikipedia articles alongside machine-translated versions of the Stanford Question Answering Dataset (Arabic-SQuAD). Our open-domain Arabic QA system, SOQAL, consists of two core components: (1) a document retriever employing the hierarchical TF-IDF method, and (2) a neural machine reading comprehension model based on the pre-trained bidirectional transformer BERT. Our experiments on ARCD demonstrate the effectiveness of our proposed approach: the BERT-based reader achieves a 61.3 F1 score, while our full open-domain system SOQAL attains a 27.6 F1 score.

搜集汇总

背景与挑战

背景概述

ARCD是一个阿拉伯语阅读理解数据集，包含1,395个由众包工作人员在维基百科文章中提出的问题，以及Arabic-SQuAD的机器翻译，旨在支持开放域事实问答任务。该数据集由贝鲁特美国大学于2019年发布，用于解决阿拉伯语问答中的信息检索和机器阅读理解挑战。