SajjadAyoubi/persian_qa

PersianQA数据集是一个基于波斯语维基百科的阅读理解数据集。该数据集包含超过9,000个条目，每个条目可能是一个无法回答的问题或一个带有一个或多个答案的问题。数据集还包括900个测试数据，并且已经训练了基于Transformer的模型。所有数据集的众包工作者都是波斯语母语者，上下文内容涵盖了维基百科的所有类别（历史、宗教、地理、科学等）。每个上下文包含7个带有一个答案的问题对和3个无法回答的问题。

The PersianQA dataset is a machine reading comprehension dataset built on Persian Wikipedia. It consists of over 9,000 entries, where each entry can be either an unanswerable question or a question accompanied by one or more valid answers. Additionally, the dataset includes 900 test samples, and Transformer-based models have been trained on this dataset. All crowdworkers who participated in the annotation of this dataset are native Persian speakers. The context passages cover all categories of Wikipedia, including history, religion, geography, science, and more. Each context passage contains 7 question-answer pairs with a single answer per question, as well as 3 unanswerable questions.

原始信息汇总

PersianQA: 波斯语问答数据集

数据集概述

PersianQA 是一个基于波斯语维基百科的阅读理解数据集，包含超过 9,000 个条目。每个条目可能是一个无法回答的问题，或者是一个在文本（上下文）中有一个或多个答案的问题。类似于 SQuAD2.0 数据集，无法回答的问题可以用于创建一个“知道它不知道答案”的系统。

此外，数据集还提供了 900 个测试数据。目前，每个上下文有 7 对问题和一个答案，以及 3 个无法回答的问题。

数据集访问/下载

• 数据集可以在 dataset/ 目录下找到，并按如下方式使用： python import read_qa # 可在 src/read_ds.py 中找到 train_ds = read_qa(pqa_train.json) test_ds = read_qa(pqa_test.json)

• 也可以通过 HuggingFace🤗 数据集库访问数据：

  • 首先，需要在终端中使用以下命令安装数据集： sh pip install -q datasets

  • 然后使用 load_dataset 导入 persian_qa 数据集： python from datasets import load_dataset dataset = load_dataset("SajjadAyoubi/persian_qa")

数据集示例

Title	Context	Question	Answer
خوب، بد، زشت	上下文内容	问题内容	答案内容
قرارداد کرسنت	上下文内容	问题内容	答案内容
چهارشنبه‌سوری	上下文内容	问题内容	No Answer

数据集统计

Split	# of instances	# of unanswerables	avg. question length	avg. paragraph length	avg. answer length
Train	9,000	2,700	8.39	224.58	9.61
Test	938	280	8.02	220.18	5.99

长度以词级别计算。

引用

bibtex @misc{PersianQA, author = {Ayoubi, Sajjad & Davoodeh, Mohammad Yasin}, title = {PersianQA: a dataset for Persian Question Answering}, year = 2021, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {url{https://github.com/SajjjadAyobi/PersianQA}}, }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，问答系统是衡量机器阅读理解能力的重要基准。PersianQA数据集专为波斯语问答任务而设计，其构建方式借鉴了SQuAD2.0的设计理念。该数据集源自波斯语维基百科，由母语为波斯语的众包工作者精心标注，共包含超过9000个条目。每个条目可视为一个阅读理解样本，包含一段上下文文本、一个对应的问题，以及一个或多个答案；部分条目被标记为不可回答，以模拟真实场景中信息缺失的情况。数据集划分明确，训练集包含9000个样本，其中2700个为不可回答问题，测试集包含938个样本。上下文文本覆盖了历史、宗教、地理、科学等维基百科的多元类别，确保了数据多样性。每个上下文平均配有7个可回答问题与3个不可回答问题，这种结构化的标注策略旨在训练模型具备“知晓自身无知”的能力。

特点

PersianQA数据集的核心特点在于其独特的平衡性与挑战性。首先，通过引入不可回答问题，它迫使模型在缺乏明确答案时做出正确判断，从而提升系统的鲁棒性与可靠性。其次，数据集规模适中，训练集与测试集比例约为10:1，便于快速迭代模型。在统计特性上，平均问题长度约为8个词，上下文长度约为224个词，答案长度约为9.6个词，这种适中的文本长度降低了计算资源需求，同时保留了语义复杂性。此外，众包工作者均为波斯语母语者，保证了语言表达的地道性与标注质量。数据集还提供了基于Transformers的基线模型，便于研究者快速上手并比较性能。这些特点使得PersianQA成为波斯语问答研究中的宝贵资源，尤其适用于评估模型在开放域与不可回答场景下的表现。

使用方法

使用PersianQA数据集进行模型训练与评估十分便捷。用户可通过两种方式访问数据：一是直接从GitHub仓库的dataset目录下载JSON文件，并利用提供的read_qa函数加载；二是通过HuggingFace的datasets库，仅需一行代码即可完成加载。具体操作上，首先安装datasets库，然后使用load_dataset("SajjadAyoubi/persian_qa")命令，数据集将自动划分为训练集与测试集。数据样本以字典形式呈现，包含标题、上下文、问题与答案字段，其中不可回答问题的答案标记为“No Answer”。研究者可基于此格式直接构建数据管道，用于微调预训练语言模型。此外，HuggingFace模型库中已提供基于该数据集的基线模型，便于进行迁移学习或对比实验。这种标准化接口简化了数据预处理流程，使研究者能专注于模型优化。

背景与挑战

背景概述

波斯语问答数据集（PersianQA）由Sajjad Ayoubi与Mohammad Yasin Davoodeh于2021年创建，旨在推动波斯语机器阅读理解领域的发展。该数据集基于波斯语维基百科构建，涵盖历史、宗教、地理、科学等多类别篇章，包含超过9000条众包标注的问答对，其中约30%为不可回答问题。其设计灵感源自SQuAD2.0，通过引入无法回答的样本，促使模型具备“知晓自身无知”的能力，从而提升系统的鲁棒性与真实性。作为波斯语自然语言处理领域的重要资源，PersianQA填补了低资源语言在抽取式问答任务上的空白，为后续研究提供了标准化评测基准与预训练模型基线，显著推动了波斯语AI技术的进步。

当前挑战

PersianQA面临的核心挑战包括：其一，解决低资源语言机器阅读理解中的领域适配问题——波斯语缺乏大规模高质量训练数据，模型需在有限样本下学习篇章理解与答案定位，同时应对不可回答问题的判别，避免生成虚假答案；其二，构建过程中面临众包标注的复杂性——需确保母语标注者从维基百科多类别篇章中生成自然且语义精确的问题，并平衡可回答与不可回答问题的比例（每篇章7个可答问题与3个不可答问题），同时控制答案长度与篇章长度的统计分布差异，以维护数据集的一致性与挑战性。

常用场景

经典使用场景

在自然语言处理与信息检索的交汇领域，波斯语问答数据集PersianQA为机器阅读理解任务提供了坚实的评测基石。该数据集基于波斯语维基百科构建，包含逾9000条众包标注样本，每条样本由篇章、问题及答案三元组构成，并巧妙借鉴了SQuAD2.0的设计理念，引入了不可回答问题的类别。研究者可借助此数据集训练模型在给定波斯语段落中精准定位答案片段，或判断问题是否无解，从而系统性地评估模型对波斯语文本的语义理解与推理能力。

实际应用

在实际应用层面，PersianQA所驱动的技术可直接赋能波斯语智能客服系统、教育辅助平台以及知识图谱构建工具。例如，在波斯语虚拟助手中，模型可依据用户提问从企业知识库或维基百科中迅速提取精确答案，显著提升人机交互效率。此外，该数据集还可用于开发波斯语文本搜索引擎的答案摘要模块，帮助用户在海量文档中快速定位关键信息，从而在新闻聚合、法律文书检索及学术文献分析等场景中发挥重要作用。

衍生相关工作

围绕PersianQA数据集，学界已衍生出多项具有影响力的工作。研究者基于该数据集训练了首批基于Transformer架构的波斯语问答模型，并将其开源至HuggingFace模型库，为后续研究提供了强有力的基线系统。此外，该数据集的构建范式启发了其他低资源语言（如阿拉伯语、乌尔都语）问答数据集的开发，推动了多语言抽取式问答的统一评测框架的形成。部分工作还探索了将PersianQA与跨语言预训练模型（如mBERT、XLM-R）结合，验证了零样本与少样本迁移学习在波斯语问答任务上的潜力。