biu-nlp/sentence_union_generation

该数据集是论文《Revisiting Sentence Union Generation as a Testbed for Text Consolidation》的官方数据集，旨在通过句子联合生成任务来评估文本整合能力。数据集支持多文档摘要、长形式问答和基于文档的对话等任务，并提供了丰富的注释方法和工具，以及全面的评估协议。数据集还包含了对最先进语言模型的基线评估，分析了它们在多文本整合挑战中的能力和局限性。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-nc-4.0
• 任务类别:
  • 文本到文本生成
  • 文本生成
• 语言: 英语
• 标签:
  • 融合
  • 联合
  • 多文档
  • 摘要生成
  • 长形式问答
  • 文档基础对话
• 大小类别: 1K<n<10K

数据集描述

• 数据集名称: Revisiting Sentence Union Generation as a Testbed for Text Consolidation
• 研究机构:
  • Bar-Ilan University
  • One AI
• 数据集目的: 作为评估文本整合能力的测试平台，专注于句子联合生成任务，旨在分离整合挑战与主观内容选择。

数据集内容

• 注释方法: 提供精细化的注释方法和工具，用于众包句子联合。
• 数据集规模: 创建了迄今为止最大的联合数据集。
• 评估协议: 提出全面的评估协议，包括人类评估和自动评估。
• 基线模型: 评估了当前最先进的语言模型在该任务上的表现，并进行了详细的能力和限制分析。