stacked-summaries/stacked-xsum

数据集Stacked XSUM 16384是一个用于摘要生成任务的数据集，源数据集为xsum。该数据集的最大输入长度为16384个令牌，最大输出长度为1024个令牌（使用Long-T5令牌器测量）。数据集包含204045行训练数据，其中203107个唯一目标和203846个唯一文本。摘要的平均字符数为125.46，平均令牌数为30.38；文本输入的平均字符数为2202.42，平均令牌数为523.92。

The dataset Stacked XSUM 16384 is a summarization dataset tailored for abstractive summarization tasks, originating from the original XSUM dataset. The maximum input length of the dataset is 16384 tokens, and the maximum output length is 1024 tokens, both measured using the Long-T5 tokenizer. It comprises 204,045 training entries, including 203,107 unique target summaries and 203,846 unique source texts. The average character count of the summaries is 125.46, with an average token count of 30.38; for the source text inputs, the average character count reaches 2202.42, and the average token count is 523.92.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 语言: 英语
• 标签: 堆叠摘要
• 美观名称: Stacked XSUM 16384
• 大小分类: 100K<n<1M
• 任务分类: 摘要生成
• 源数据集: xsum

数据集版本

• 当前版本: v0.3

数据集统计

• 训练集基本统计:

  • 行数: 204045
  • 列数: 5
  • 唯一目标数: 203107
  • 唯一文本数: 203846
  • 摘要平均字符数: 125.46
  • 摘要平均令牌数: 30.38
  • 文本输入平均字符数: 2202.42
  • 文本输入平均令牌数: 523.92

• 堆叠后训练集基本统计:

  • 行数: 407979
  • 列数: 6
  • 唯一章节数: 407880
  • 唯一摘要数: 407141
  • 摘要平均字符数: 2189.41
  • 摘要平均令牌数: 473.45
  • 文本输入平均字符数: 33855.06
  • 文本输入平均令牌数: 8039.66

数据集限制

• 最大输入长度: 16384令牌
• 最大输出长度: 1024令牌（使用Long-T5分词器测量）

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，摘要生成任务对长文本的理解与压缩能力提出了严峻挑战。为突破传统数据集在输入长度上的局限，stacked-summaries/stacked-xsum 数据集应运而生。该数据集基于经典的 XSUM 语料库，通过一种称为“堆叠摘要”（stacked summaries）的创新构建方式，将原始短文本与对应的摘要进行递归拼接与重组，从而生成包含丰富上下文的长序列样本。具体而言，原始 XSUM 中的 204,045 条训练样本经过堆叠处理后，扩展至 407,979 条，并剔除了 5 条不合格条目及 106 条重复行，最终形成输入长度可达 16384 个 token、输出长度为 1024 个 token 的高质量数据集，显著提升了模型对长程依赖关系的建模能力。

特点

该数据集的核心特点在于其超长的上下文窗口与极高的信息密度。输入文本平均包含约 8039 个 token，远超传统摘要数据集，这使其成为训练长文本摘要模型（如 Long-T5）的理想资源。同时，输出摘要的平均长度也提升至 473 个 token，保证了压缩后的语义完整性。数据规模达到数十万级别，覆盖了丰富多样的新闻主题，且通过去重与随机打乱（种子 1017）确保了样本的多样性与无偏性。此外，数据集采用 Apache-2.0 开源协议，便于学术研究与工业应用，其独特的堆叠结构为探索多级抽象与层次化摘要提供了全新的数据支撑。

使用方法

使用该数据集时，可直接通过 Hugging Face Datasets 库加载，指定版本号 v0.3 以获取最新稳定版。数据已预设为适合长文本摘要任务的格式，包含 'text' 与 'summary' 字段，分别对应长输入与短输出。用户可根据需求进行训练集、验证集与测试集的划分，并利用 Long-T5 等支持长序列的 tokenizer 进行预处理。建议在训练时采用动态批处理策略以适配不同长度的样本，同时可结合模型自带的注意力机制优化长程依赖的学习。对于复现实验或引用，请遵循提供的 BibTeX 格式进行学术署名。

背景与挑战

背景概述

在自然语言处理领域，文本摘要任务长期受限于模型对超长文档的语义建模能力。为突破这一瓶颈，Karim Foda与Peter Szemraj于2023年提出了Stacked XSUM数据集，该数据集基于经典的XSUM语料库，通过将多篇新闻摘要及其对应源文本进行层级拼接，构建了最大输入长度达16384词元、输出长度达1024词元的超长文本摘要资源。研究团队在HuggingFace平台以Apache-2.0许可发布此数据集，旨在为长文档摘要模型提供更具挑战性的训练基准。该数据集的诞生推动了Transformer架构在长序列处理、层级语义压缩等方向的研究，尤其为Long-T5等高效注意力机制模型的评估提供了关键数据支撑。其通过堆叠式结构保留跨文档语义关联的设计理念，为后续多文档摘要与叙事性文本理解研究开辟了新路径。

当前挑战

当前Stacked XSUM面临的核心挑战集中在长文本语义一致性维护与计算效率平衡。首先，数据集所解决的领域问题在于：传统摘要模型在处理超过512词元的文档时易出现关键信息丢失或冗余，而该数据集要求模型在16384词元的输入中精准提取并压缩多源叙事脉络，这对注意力机制的长期依赖捕获能力提出了严苛要求。其次，构建过程中暴露的技术挑战包括：原始XSUM数据中仅5行样本因格式异常被舍弃，暴露出异构数据标准化处理的脆弱性；堆叠操作后生成了106条重复行，需通过去重算法确保训练样本的独特性；最终训练集包含407979条样本，但平均输入文本长度激增至8039.65词元，导致GPU显存占用与训练时间呈非线性增长，亟需开发更高效的分块处理与梯度累积策略。

常用场景

经典使用场景

在文本摘要研究领域，Stacked XSUM 16384 数据集以其独特的“堆叠摘要”范式，为长文本生成任务提供了全新的训练基准。该数据集基于经典的 XSUM 语料库，通过将多篇相关新闻摘要拼接为超长输入序列，并保留其对应的单句摘要作为输出，构建了最大输入长度达16384个token的高难度摘要任务。这一设计旨在模拟现实场景中需从海量信息中提炼核心要点的需求，尤其适用于评估和提升模型对长距离依赖关系的捕捉能力，成为长文本生成、多文档摘要及信息压缩等方向的重要验证平台。

衍生相关工作

围绕 Stacked XSUM 数据集，学术界衍生了一系列具有影响力的工作，其中最经典的是 Long-T5 模型在超长文本摘要任务上的适应性改进，研究者通过引入局部-全局注意力机制，显著提升了堆叠输入下的摘要质量。此外，基于该数据集的对比学习框架被提出，用于增强模型对堆叠序列中噪声信息的鲁棒性。后续工作还探索了将堆叠摘要与检索增强生成（RAG）结合，构建端到端的多文档摘要流水线，以及针对堆叠结构设计的层次化解码策略，这些研究共同推动了长文本生成领域从单文档向多文档、从短上下文向超长上下文的演进，形成了持续活跃的研究分支。

数据集最近研究

最新研究方向

在长文本摘要生成领域，Stacked XSUM 16384 数据集通过将传统短文本摘要数据（如 XSUM）中的样本进行拼接与堆叠，构建了输入长度达16384 token、输出长度1024 token的超长序列摘要任务，突破了现有模型对长文档理解的瓶颈。该数据集的出现回应了近年来大语言模型在处理长上下文时面临的挑战，尤其是针对新闻、书籍等需要全局连贯性摘要的场景。其堆叠策略不仅保留了原始摘要的多样性，还通过消除重复与无效样本提升了数据质量，为开发能够高效捕获长程依赖的摘要模型提供了关键基准。这一方向与当前研究热点——如LongT5、Transformer-XL等长文本架构的优化——紧密相连，推动模型从短文本局部建模向长文本全局语义理解的跃迁，对提升自动摘要工具在真实复杂文本环境中的实用性具有深远意义。