lmqg/qg_ruquad

这是一个用于问题生成任务的数据集，特别是针对俄语文本。它是从SberQuaD数据集中修改而来，专门用于问题生成任务。数据集包含训练集、验证集和测试集，其中测试集是从训练集中手动抽取的，以确保与训练集在段落上没有重叠。数据集的结构包括问题、段落、答案、句子等字段，并且有特定的字段用于训练问题生成模型。

原始信息汇总

数据集概述

数据集名称

• 名称: SberQuAD for question generation
• 别名: lmqg/qg_ruquad

数据集描述

• 摘要: 该数据集是QG-Bench的一个子集，专门为问答生成任务设计。它是SberQuAD数据集的修改版本，包含从训练集中手动采样的测试集，确保与训练集在段落层面无重叠。
• 任务: 主要用于训练问答生成模型。
• 语言: 俄语 (ru)

数据集结构

• 数据字段:
  • question: 字符串类型
  • paragraph: 字符串类型
  • answer: 字符串类型
  • sentence: 字符串类型
  • paragraph_answer: 字符串类型，答案部分用特殊标记<hl>高亮
  • paragraph_sentence: 字符串类型，包含答案的句子部分用特殊标记<hl>高亮
  • sentence_answer: 字符串类型，答案部分用特殊标记<hl>高亮

数据分割

• 分割详情:
  • train: 45327条记录
  • validation: 5036条记录
  • test: 23936条记录

许可证

• 许可证: CC-BY-4.0

引用信息

@inproceedings{ushio-etal-2022-generative, title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration", author = "Ushio, Asahi and Alva-Manchego, Fernando and Camacho-Collados, Jose", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, U.A.E.", publisher = "Association for Computational Linguistics", }