lmqg/qg_subjqa

这是一个用于段落级问题生成的统一基准的子集，特别从SubjQA修改而来，用于问题生成任务。该数据集是英文的，包含多种特征，如问题、段落、答案等，并针对训练、验证和测试进行了不同的分割。

This is a subset of a unified benchmark for paragraph-level question generation, specifically adapted from SubjQA for the question generation task. The dataset is in English, contains multiple features including questions, paragraphs, answers, etc., and is split into distinct training, validation, and test sets.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 名称: SubjQA for question generation
• 语言: 英语 (en)
• 规模: 10K<n<100K
• 来源: 基于SubjQA数据集
• 任务类别: 文本生成
• 任务ID: 语言建模
• 标签: 问题生成

数据集描述

• 概述: 该数据集是QG-Bench的一部分，专为问题生成任务设计，是SubjQA的修改版本。
• 支持任务: 问题生成
• 评估指标: BLEU4/METEOR/ROUGE-L/BERTScore/MoverScore

数据集结构

• 数据字段:
  • question: 字符串
  • paragraph: 字符串
  • answer: 字符串
  • sentence: 字符串
  • paragraph_answer: 字符串，答案部分用<hl>标记
  • paragraph_sentence: 字符串，包含答案的句子用<hl>标记
  • sentence_answer: 字符串，答案部分用<hl>标记
• 数据分割:
  • train: 4437
  • validation: 659
  • test: 1489

引用信息

@inproceedings{ushio-etal-2022-generative, title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration", author = "Ushio, Asahi and Alva-Manchego, Fernando and Camacho-Collados, Jose", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, U.A.E.", publisher = "Association for Computational Linguistics", }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，问题生成任务旨在根据给定的文本段落自动构建合理的问题，而SubjQA作为面向主观性文本的问答数据集，为这一任务提供了独特的资源。lmqg/qg_subjqa数据集正是基于SubjQA进行改造，以服务于段落级问题生成的研究。其构建过程首先从SubjQA中提取包含用户评论的段落、对应问题及答案，随后通过引入特殊标记<hl>对答案所在句子或答案本身进行高亮，生成了多种变体字段，如paragraph_answer、paragraph_sentence和sentence_answer，分别用于支持答案感知与句子感知的问题生成模型训练。最终数据集涵盖了书籍、电子产品、电影、食品杂货、餐馆和旅行六个领域，总计超过6500个样本，并按照标准划分为训练、验证和测试集。

特点

该数据集的核心特点在于其面向主观性文本的独特定位，源自用户评论的段落天然富含观点、情感和评价性语言，这与传统基于事实性文本的问题生成数据集形成鲜明对比。每个样本均提供了多层次的标注信息，包括原始段落、问题、答案、答案所在句子，以及通过<hl>标记高亮答案或句子的变体，从而支持不同粒度的生成任务。此外，数据集还包含了问题与答案的主观性等级评分，为研究主观性对问题生成的影响提供了量化依据。领域多样性是其另一亮点，覆盖六个真实场景的评论数据，有助于提升模型的泛化能力。

使用方法

使用该数据集时，研究者可根据任务需求选择不同的输入字段。对于答案感知的问题生成，可将paragraph_answer或sentence_answer作为输入，模型需根据高亮答案的段落或句子生成对应问题；对于句子感知的任务，则采用paragraph_sentence，模型需基于高亮句子的段落来生成问题。数据集的加载可通过HuggingFace的datasets库直接实现，调用load_dataset('lmqg/qg_subjqa')即可获取。训练时，常用评估指标包括BLEU-4、METEOR、ROUGE-L、BERTScore和MoverScore，以全面衡量生成问题的质量。论文中提供了详细的基线模型和实验设置，便于复现与比较。

背景与挑战

背景概述

在自然语言处理领域，问题生成（Question Generation, QG）是一项旨在从文本段落中自动生成流畅且相关问题的核心任务，其研究成果对智能问答系统、教育技术及对话交互等应用具有深远影响。lmqg/qg_subjqa数据集由Asahi Ushio等研究者于2022年提出，作为统一问题生成基准QG-Bench的重要组成部分，发表于EMNLP 2022主会议。该数据集基于SubjQA语料库进行改造，聚焦于段落级别的问题生成任务，涵盖书籍、电子产品、电影等六个领域，总计超过6500个样本。其核心研究问题在于探索生成式语言模型在复杂段落中捕捉语义信息并生成高质量问题的能力，为评估不同模型在主观性文本上的表现提供了标准化平台，推动了问题生成技术的可重复性研究。

当前挑战

lmqg/qg_subjqa数据集所面临的挑战首先体现在领域问题的复杂性上：传统问题生成多聚焦于事实性文本，而SubjQA数据包含大量主观性评论，要求模型能够区分事实与观点，并生成反映主观倾向的问题，这对语义理解和常识推理能力提出了更高要求。在构建过程中，研究者需将原始SubjQA中的问答对适配为段落-问题-答案三元组，并设计多种标注形式（如高亮答案或句子），以支持答案感知与句子感知两种生成模式。此外，跨领域数据分布不均（如书籍领域仅636条训练样本）导致模型泛化困难，且主观性标签（如question_subj_level）的引入增加了标注一致性与噪声控制的难度，亟需更鲁棒的训练策略与评估指标来应对这些挑战。

常用场景

经典使用场景

在自然语言处理领域，问题生成（Question Generation, QG）是一项极具挑战性的任务，要求模型能够从给定的文本段落中自动构建出语义完整、语法正确的问题。lmqg/qg_subjqa数据集正是为此而生，它基于SubjQA进行了精心改造，专用于段落级问题生成的研究。该数据集的核心使用场景在于训练和评估生成式语言模型，使其能够在给定段落及特定高亮信息（如答案或关键句）的条件下，自动生成与之相关的自然语言问题。经典的用法包括基于答案感知（answer-aware）和句子感知（sentence-aware）两种范式，前者利用高亮的答案片段引导模型生成指向该答案的问题，后者则借助高亮的句子提供更丰富的上下文线索，从而提升生成问题的准确性与相关性。这一数据集为统一的问题生成基准（QG-Bench）提供了关键支撑，推动了该领域从简单的句子级生成向更为复杂的段落级任务迈进。

解决学术问题

长期以来，学术研究中问题生成任务面临两大瓶颈：一是缺乏大规模、高质量且带有细粒度标注的段落级数据集，二是现有的评估体系难以全面衡量生成问题的语义保真度与实用性。lmqg/qg_subjqa数据集的提出，系统性地缓解了这些困境。它通过引入主观性标注（subj_level），将问题与答案的主观程度纳入考量，使得模型不仅需要关注事实性信息，还需捕捉文本中的观点与情感倾向，从而更贴近真实的人类提问行为。该数据集解决了如何在不同领域（如书籍、电子产品、电影等）中泛化问题生成模型的核心学术问题，为研究跨领域迁移学习提供了宝贵的实验平台。其意义在于，它促使研究者从单纯的语法正确性转向对问题语义深度与上下文依赖性的探索，推动了生成式预训练模型在复杂推理任务中的应用边界，并为后续的自动问答、对话系统等下游任务奠定了坚实的评测基础。

衍生相关工作

lmqg/qg_subjqa数据集的发布催生了一系列具有影响力的衍生研究工作。其核心论文《Generative Language Models for Paragraph-Level Question Generation: A Unified Benchmark and Evaluation》发表于EMNLP 2022主会，系统性地提出了统一的评测框架QG-Bench，该框架整合了包括SubjQA在内的多个数据集，并采用BLEU、METEOR、ROUGE-L、BERTScore及MoverScore等多维度指标进行全面评估，成为后续问题生成研究的基准参考。在此基础上，研究者们进一步探索了如何利用大规模预训练语言模型（如T5、BART）进行段落级问题生成，并深入分析了不同高亮策略（答案高亮与句子高亮）对生成质量的影响。此外，该数据集还启发了关于主观性问题生成的专项研究，即如何让模型生成涉及个人观点或情感评价的问题，这一方向在社交媒体分析与舆情监控中具有独特价值。部分后续工作则聚焦于跨领域适应性，尝试通过领域适配技术提升模型在未见领域上的生成表现，从而不断拓展问题生成技术的实用边界。