lmqg/qg_subjqa

这是一个用于段落级问题生成的统一基准的子集，特别从SubjQA修改而来，用于问题生成任务。该数据集是英文的，包含多种特征，如问题、段落、答案等，并针对训练、验证和测试进行了不同的分割。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 名称: SubjQA for question generation
• 语言: 英语 (en)
• 规模: 10K<n<100K
• 来源: 基于SubjQA数据集
• 任务类别: 文本生成
• 任务ID: 语言建模
• 标签: 问题生成

数据集描述

• 概述: 该数据集是QG-Bench的一部分，专为问题生成任务设计，是SubjQA的修改版本。
• 支持任务: 问题生成
• 评估指标: BLEU4/METEOR/ROUGE-L/BERTScore/MoverScore

数据集结构

• 数据字段:
  • question: 字符串
  • paragraph: 字符串
  • answer: 字符串
  • sentence: 字符串
  • paragraph_answer: 字符串，答案部分用<hl>标记
  • paragraph_sentence: 字符串，包含答案的句子用<hl>标记
  • sentence_answer: 字符串，答案部分用<hl>标记
• 数据分割:
  • train: 4437
  • validation: 659
  • test: 1489

引用信息

@inproceedings{ushio-etal-2022-generative, title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration", author = "Ushio, Asahi and Alva-Manchego, Fernando and Camacho-Collados, Jose", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, U.A.E.", publisher = "Association for Computational Linguistics", }