lmqg/qag_tweetqa

这是一个基于tweet_qa的问题与答案生成数据集。由于原始数据的测试集未公开，因此从训练集中随机抽取了测试问题。该数据集用于训练模型进行问题与答案生成，成功通常通过达到高BLEU4/METEOR/ROUGE-L/BERTScore/MoverScore来衡量。数据集包含段落、问题、答案和问题答案对，所有分割的数据字段相同。数据集的语言为英语。

This is a question and answer generation dataset based on TweetQA. Since the test split of the original dataset is not publicly available, we randomly sampled test questions from its training split. This dataset is intended for training models to perform question and answer generation tasks, where model performance is commonly evaluated using metrics including BLEU4, METEOR, ROUGE-L, BERTScore, and MoverScore. The dataset comprises paragraphs, questions, answers, and question-answer pairs, and all data splits share identical field structures. The language used in this dataset is English.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-sa-4.0
• 数据集名称: TweetQA for question generation
• 语言: 英语 (en)
• 多语言性: 单语种
• 数据集大小: 1k<n<10K
• 来源数据集: tweet_qa

任务与标签

• 任务类别: 文本生成
• 任务ID: 语言建模
• 标签: 问题生成

数据集描述

• 概述: 该数据集是基于tweet_qa的问题与答案生成数据集。原始数据的测试集未公开发布，因此我们从训练集中随机抽样了测试问题。
• 支持的任务与评测指标:
  • 任务: 问题-答案生成
  • 评测指标: BLEU4/METEOR/ROUGE-L/BERTScore/MoverScore

数据集结构

• 数据字段:
  • questions: 字符串列表
  • answers: 字符串列表
  • paragraph: 字符串
  • questions_answers: 字符串
• 数据分割:
  • train: 4536
  • validation: 583
  • test: 583

引用信息

@inproceedings{ushio-etal-2022-generative, title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration", author = "Ushio, Asahi and Alva-Manchego, Fernando and Camacho-Collados, Jose", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, U.A.E.", publisher = "Association for Computational Linguistics", }

搜集汇总

背景与挑战

背景概述

该数据集是基于tweet_qa构建的问题与答案生成数据集，专门用于训练模型从文本段落生成问题及其答案。它包含约5.7k条英语推特数据，划分为训练、验证和测试集，支持文本生成和语言建模任务，适用于自然语言处理中的问答生成研究。