ibm/duorc|文本理解数据集|文本生成数据集

DuoRC数据集是一个英文的问答数据集，专门用于训练和评估抽象和提取式问答模型。该数据集包含两个子数据集：SelfRC和ParaphraseRC。SelfRC数据集完全基于Wikipedia的电影情节，而ParaphraseRC则结合了Wikipedia和IMDb的电影情节，其中问题基于Wikipedia情节，答案则基于IMDb情节。数据集由众包工作者创建，涵盖了从10K到1M不等的数据量。

原始信息汇总

数据集概述

数据集名称: DuoRC

语言: 英语 (en)

许可证: MIT

多语言性: 单语

大小类别:

• 100K<n<1M
• 10K<n<100K

源数据集: 原始

任务类别:

• 问答
• 文本到文本生成

任务ID:

• abstractive-qa
• extractive-qa

配置名称:

• ParaphraseRC
• SelfRC

数据集结构

数据实例

数据实例包含以下字段:

• plot_id: 字符串，电影情节ID。
• plot: 字符串，电影情节文本。
• title: 字符串，电影标题。
• question_id: 字符串，问题ID。
• question: 字符串，问题文本。
• answers: 字符串序列，答案列表。
• no_answer: 布尔值，指示问题是否有答案。

数据分割

数据集分为训练、验证和测试集，具体大小如下:

配置名称	训练集大小	验证集大小	测试集大小
ParaphraseRC	69,524	15,591	15,857
SelfRC	60,721	12,961	12,559

数据集创建

注释过程

• SelfRC: 注释者可以在阅读维基百科电影情节后标记答案范围或合成自己的答案。
• ParaphraseRC: 使用来自SelfRC的维基百科电影情节的问题，注释者根据IMDb电影情节回答问题。

注释者

Amazon Mechanical Turk Workers

许可证信息

MIT License

引用信息

@inproceedings{DuoRC, author = { Amrita Saha and Rahul Aralikatte and Mitesh M. Khapra and Karthik Sankaranarayanan}, title = {{DuoRC: Towards Complex Language Understanding with Paraphrased Reading Comprehension}}, booktitle = {Meeting of the Association for Computational Linguistics (ACL)}, year = {2018} }