clips/mqa|自然语言处理数据集|多语言问答数据集

MQA是一个多语言的问答数据集，包含FAQ（常见问题）和CQA（社区问答）两种类型的问题。数据集来源于Common Crawl，涵盖了39种语言，总计约234M对问答。FAQ和CQA问题的结构相似，但CQA问题可能有多个答案，而FAQ问题通常只有一个答案。数据集支持三种嵌套级别：问题、页面和域。

原始信息汇总

数据集概述

名称: MQA - a Multilingual FAQ and CQA Dataset

语言: 包含39种语言，包括但不限于英语（en）、德语（de）、西班牙语（es）、法语（fr）、俄语（ru）、日语（ja）、中文（zh）等。

许可证: 数据集遵循CC0-1.0许可证。

多语言性: 支持多语言。

数据集大小: 数据集大小未明确，但包含约234M对问题和答案。

源数据: 数据集来源于Common Crawl的WARC文件。

任务类型: 主要用于问答任务，包括多选题问答（multiple-choice-qa）。

数据集结构

问题类型: 数据集分为两种类型：

• Frequently Asked Questions (FAQ): 通常只有一个答案。
• Community Question Answering (CQA): 可以有多个答案。

数据字段:

• name: 问题的标题（如果有）。
• text: 问题的正文（如果有）。
• answers: 答案列表，每个答案包含：
  • text: 答案的文本。
  • is_accepted: 布尔值，表示答案是否被接受。

下载和使用

下载方式: 可以通过指定语言和问题类型（FAQ或CQA）来下载数据集的子集。例如： python load_dataset("clips/mqa", language="en", scope="faq")

数据集层次: 数据集支持三种不同的嵌套级别：

• question: 默认级别，提供单个问题的详细信息。
• page: 提供同一页上的问题列表。
• domain: 提供同一域名下的页面列表。

语言分布

数据集在不同语言中的问题和答案分布如下：

Language	FAQ	CQA
en	174,696,414	14,082,180
de	17,796,992	1,094,606
es	14,967,582	845,836
fr	13,096,727	1,299,359
...	...	...

此表格展示了每种语言在FAQ和CQA中的数据量。