lmqg/qg_itquad

该数据集是SQuAD-it的一个修改版本，专门用于问题生成任务。由于原始数据集仅包含训练集和验证集，因此从训练集中手动抽取了测试集，以确保测试集与训练集在段落层面没有重叠。数据集的语言为意大利语，任务类型为文本生成，具体是问题生成。数据集的字段包括问题、段落、答案、句子等，并且有特殊的标记用于突出显示答案或包含答案的句子。

原始信息汇总

数据集概述

基本信息

• 数据集名称: SQuAD-it for question generation
• 许可证: cc-by-4.0
• 语言: 意大利语 (it)
• 多语言性: 单语种
• 大小: 10K<n<100K
• 源数据集: squad_es
• 任务类别: text-generation
• 任务ID: language-modeling
• 标签: question-generation

数据集描述

• 概述: 本数据集是QG-Bench的一个子集，专为问句生成任务设计。它是SQuAD-it的一个修改版本，特别从训练集中手动抽样出一个测试集，确保与训练集在段落层面无重叠。
• 支持的任务: 问句生成 (question-generation)
• 评估指标: BLEU4/METEOR/ROUGE-L/BERTScore/MoverScore

数据集结构

• 数据字段:
  • question: 字符串类型
  • paragraph: 字符串类型
  • answer: 字符串类型
  • sentence: 字符串类型
  • paragraph_answer: 字符串类型，答案通过特殊标记<hl>高亮
  • paragraph_sentence: 字符串类型，包含答案的句子通过特殊标记<hl>高亮
  • sentence_answer: 字符串类型，答案通过特殊标记<hl>高亮
• 数据分割:
  • train: 46550条记录
  • validation: 7609条记录
  • test: 7609条记录

引用信息

@inproceedings{ushio-etal-2022-generative, title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration", author = "Ushio, Asahi and Alva-Manchego, Fernando and Camacho-Collados, Jose", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, U.A.E.", publisher = "Association for Computational Linguistics", }