tau/sled

该数据集基于SCROLLS、SQuAD 1.1和HotpotQA数据集，主要用于长文本理解任务，包括问答、摘要和文本生成等。数据集包含多个子数据集，如GovReport、SummScreenFD、QMSum等，每个子数据集都有其特定的任务和应用场景。例如，GovReport是一个关于国家政策问题的报告摘要数据集，SummScreenFD是一个关于电视剧集的摘要数据集，QMSum是一个基于查询的会议摘要数据集。数据集还提供了数据字段的格式说明和实验设置，以及引用信息。

原始信息汇总

数据集概述

数据集来源

• 基础数据集: SCROLLS, SQuAD 1.1, HotpotQA
• 论文: Efficient Long-Text Understanding with Short-Text Models

任务类别

• 问题回答
• 摘要生成
• 文本生成

具体任务

1. GovReport

   • 描述: 针对国家政策问题的报告摘要，报告来自Congressional Research Service和U.S. Government Accountability Office。
   • 特点: 文档和摘要长度超过其他流行长文档摘要数据集。

2. SummScreenFD

   • 描述: 针对电视剧集的摘要生成，使用ForeverDreaming子集，包含88种不同节目。
   • 特点: 使用社区贡献的转录文本和来自Wikipedia及TVMaze的摘要。

3. QMSum

   • 描述: 查询驱动的会议摘要，涵盖学术、工业和政府会议。
   • 特点: 每个会议至少包含200字或10个回合的相关文本。

4. NarrativeQA

   • 描述: 书籍和电影剧本的问题回答，使用Wikipedia摘要生成问题答案对。
   • 特点: 每个书籍或剧本约有30个问题答案对。

5. Qasper

   • 描述: 针对NLP论文的问题回答，问题基于论文标题和摘要，答案基于全文。
   • 特点: 包含抽象、提取和是/否问题，以及无法回答的问题。

6. QuALITY

   • 描述: 多选问题回答，问题来自Project Gutenberg和Open American National Corpus。
   • 特点: 50%的问题被标记为困难，需要阅读大部分文档才能正确回答。

7. ContractNLI

   • 描述: 法律领域的自然语言推理，基于非披露协议判断法律声明的关系。
   • 特点: 包含607份合同和17个独特的假设。

8. SQuAD 1.1

   • 描述: 阅读理解数据集，问题基于维基百科文章，答案为文章中的文本段落。

9. HotpotQA

   • 描述: 多文档问题回答，需要推理多个支持文档。
   • 特点: 提供句子级支持事实，测试系统提取和比较事实的能力。

数据字段

• input: 输入文档
• input_prefix: 可选输入前缀（如问题）
• output: 目标输出
• id: 唯一输入标识
• pid: 唯一输入输出对标识

控制实验配置

• squad: 原始SQuAD 1.1
• squad_ordered_distractors: 包含9个随机干扰段的SQuAD 1.1
• squad_shuffled_distractors: 包含随机排列的10个段落的SQuAD 1.1
• hotpotqa: 仅包含两个黄金段落的HotpotQA
• hotpotqa_second_only: 仅包含第二个黄金段落的HotpotQA