lmqg/qg_esquad

这是[QG-Bench](https://github.com/asahi417/lm-question-generation/blob/master/QG_BENCH.md#datasets)的一个子集，QG-Bench是一个统一的问题生成基准，提出于论文《Generative Language Models for Paragraph-Level Question Generation: A Unified Benchmark and Evaluation, EMNLP 2022 main conference》。这是[SQuAD-es](https://huggingface.co/datasets/squad_es)的修改版本，用于问题生成（QG）任务。由于原始数据集仅包含训练/验证集，我们从训练集中手动采样了测试集，确保测试集与训练集在段落上没有重叠。

原始信息汇总

数据集概述

• 名称: SQuAD-es for question generation
• 许可证: cc-by-4.0
• 语言: 西班牙语 (es)
• 多语言性: 单语种
• 大小: 10K<n<100K
• 来源: squad_es
• 任务类别:
  • text-generation
• 任务ID:
  • language-modeling
• 标签:
  • question-generation

数据集详情

• 摘要: 本数据集是QG-Bench的一部分，专为问题生成任务设计，是对SQuAD-es数据集的修改版本。测试集是从训练集中手动采样，确保与训练集在段落上无重叠。
• 支持的任务:
  • question-generation: 用于训练问题生成模型，成功标准通常通过BLEU4/METEOR/ROUGE-L/BERTScore/MoverScore等指标衡量。
• 结构:
  • 数据字段包括：question, paragraph, answer, sentence, paragraph_answer, paragraph_sentence, sentence_answer。
  • 每个字段均为字符串类型，其中paragraph_answer, paragraph_sentence, sentence_answer用于训练不同类型的问题生成模型。
• 数据分割:
  • train: 77025
  • validation: 10570
  • test: 10570

引用信息

@inproceedings{ushio-etal-2022-generative, title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration", author = "Ushio, Asahi and Alva-Manchego, Fernando and Camacho-Collados, Jose", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, U.A.E.", publisher = "Association for Computational Linguistics", }