iarfmoose/question_generator

该数据集由SQuAD v2.0、RACE、CoQA和MSMARCO的数据组成，经过筛选和修改。数据集包含question和text两个字段，其中question字段包含问题，text字段包含答案和上下文信息，格式为："<answer> (answer text) <context> (context text)"。数据集设计用于与question_generator模型训练相关联。

原始信息汇总

数据集概述

数据来源

• 数据集由SQuAD v2.0、RACE、CoQA和MSMARCO四个原始数据集的数据组成。
• 部分示例从原始数据集中筛选或修改而来。

数据结构

• 包含两个主要字段：
  • question: 包含问题。
  • text: 包含答案和上下文，格式为：<answer> (answer text) <context> (context text)。

特殊标记

• <answer>和<context>作为特殊标记，用于问题生成器的分词器中。

使用目的

• 该数据集旨在与question_generator repo配合使用，用于训练问题生成模型。