giuliadc/newsroom_filtered_test_split

该数据集是从Newsroom数据集的测试集中筛选出来的，使用了Aumiller等人的Cleaner工具进行过滤。筛选条件包括摘要的最小长度为18个字符，参考文本的最小长度为250个字符，且所有摘要-参考文本对的密度大于2的样本被移除，以确保摘要更偏向于抽象性。筛选后，随机选择了10,000个样本保留在数据集中。此外，数据集中还进行了进一步的处理，如替换换行符、删除不必要的列、重命名列、添加唯一ID以及替换HTML转义字符等。

This dataset was created by filtering the test split of the Newsroom dataset using the Cleaner tool by Aumiller et al. The filtering criteria included a minimum summary length of 18 characters, a minimum reference text length of 250 characters, and the removal of all article-summary pairs with a density greater than 2 to ensure that the summaries are more abstractive. After filtering, 10,000 random samples were selected and retained in the dataset. Additionally, further processing was performed, such as replacing line breaks, removing unnecessary columns, renaming columns, adding unique IDs, and replacing HTML escape characters.

原始信息汇总

数据集概述

任务类别

• 摘要生成

语言

• 英语

数据规模

• 1K<n<10K

数据处理步骤

1. 数据过滤：

   • 使用Aumiller等人开发的Cleaner工具对Newsroom数据集的测试部分进行过滤。
   • 设置参数：min_length_summary = 18，min_length_reference = 250，length_metric = "whitespace"。
   • 移除密度大于2的所有文章-摘要对，确保摘要偏向抽象性。

2. 数据采样：

   • 从过滤后的数据中随机选择10k个样本，其余样本被移除。

3. 数据清洗：

   • 将文章和摘要中的换行符（ ）替换为空格（ ）。
   • 移除以下列：date, density_bin, url, compression, coverage_bin, coverage, title。
   • 将summary列重命名为reference-summary。
   • 添加id列，并为每个样本分配唯一ID，格式为newsroom-n，其中n从1开始递增。

4. HTML转义字符替换：

   • 将摘要中的HTML转义字符替换为对应的Unicode字符，包括：
     • “
     • ”
     • ’
     •  
     • –
     • —
     • £
     • "
     • &
     • ’
     • &8220;
     • &8221;

搜集汇总

数据集介绍

构建方式

本数据集源自Newsroom数据集的测试子集，经过精细的过滤与清洗流程构建而成。首先，采用Aumiller等人开发的Cleaner工具，设定摘要最小长度18词、原文最小长度250词、以空白字符为计量单位，对原始数据进行了初步筛选。随后，剔除了所有密度值大于2的原文-摘要对，确保数据集中的摘要更倾向于抽象式生成而非抽取式。在完成上述过滤后，随机保留了10,000个样本，其余样本被移除。此外，对文本中的换行符进行了空格替换，并将摘要列重命名为'reference-summary'，同时新增了唯一标识符列'id'，格式为'newsroom-n'，其中n从1开始递增。最后，对摘要中存在的HTML转义字符进行了Unicode字符的替换处理，并移除了'date'、'density_bin'等无关列。

特点

该数据集的核心特点在于其高度抽象化的摘要倾向。通过密度过滤策略，所有保留的摘要均具有较低的原文覆盖密度，即摘要并非简单抽取原文片段，而是经过语义重组与语言压缩的抽象式概括。数据集规模适中，包含10,000个样本，兼顾了实验效率与统计显著性。数据清洗过程彻底，不仅修复了HTML转义字符带来的编码问题，还统一了文本格式，消除了换行符等噪声。此外，数据集保留了原文与摘要的配对结构，并赋予每个样本唯一的标识符，便于后续的索引与复现。整体而言，该数据集为抽象式文本摘要模型的训练与评估提供了高质量的基准资源。

使用方法

本数据集适用于文本摘要任务的模型训练、验证与测试。使用者可直接通过HuggingFace的datasets库加载，例如使用'load_dataset("giuliadc/newsroom_filtered_test_split")'命令。数据集包含'article'与'reference-summary'两个核心字段，分别对应原文与参考摘要，可用于监督学习框架下的序列到序列模型。在进行模型评估时，可依据'reference-summary'计算ROUGE等自动评价指标。建议使用者在应用前检查数据的编码格式，确保已正确解析Unicode字符。由于数据集已预先过滤并标准化，可直接用于微调预训练语言模型，如BART、T5等，无需额外清洗步骤。此外，数据集的唯一标识符有助于追踪每个样本的来源与处理历史。

背景与挑战

背景概述

文本摘要作为自然语言处理领域的核心任务，旨在将长文档精炼为简洁而信息丰富的概要，其质量与抽象性程度密切相关。giuliadc/newsroom_filtered_test_split数据集源自2018年由康奈尔大学研究人员Grusky等人构建的Newsroom数据集，后者包含130万篇新闻文章及其摘要，以其多样的抽取策略著称。然而，原始数据中大量摘要高度依赖原文抽取，限制了模型在生成抽象性摘要上的能力。为此，Aumiller等人于2023年提出了一种数据清洗方法，通过移除密度高于2的摘要对（即过度抽取的样本），确保筛选后的摘要更具抽象性。该过滤版本专注于测试集，仅保留10,000个样本，并经过格式标准化处理，为评估抽象性摘要模型提供了更纯净的基准，推动了文本生成领域研究向更高层次的语义理解迈进。

当前挑战

该数据集面临的核心挑战在于应对文本摘要领域长期存在的抽象性与忠实度之间的张力。首先，所解决的领域问题是如何在保证摘要信息准确的前提下，提升其生成式创新能力，避免模型过度依赖原文词汇或句式，从而陷入抽取式摘要的窠臼。其次，构建过程中遭遇了多重技术难题：过滤步骤需精确设定摘要最小长度（18词）与参考文本最小长度（250词）的阈值，以平衡数据规模与质量；去除密度大于2的样本虽增强了抽象性，却可能引入信息遗漏或语义偏差的风险。此外，对HTML转义字符的替换与列结构的简化，虽提升了可用性，但原始数据中潜在的语言歧义和噪声仍可能干扰模型训练，亟需更精细的预处理策略来确保数据纯净度与代表性。

常用场景

经典使用场景

在文本摘要研究领域，新闻摘要数据集常被用于训练和评估自动摘要模型。然而，原始数据集中往往混合了抽取式与抽象式摘要，导致模型难以聚焦于真正的抽象生成能力。为此，对Newsroom测试集进行精细过滤后形成的子集，剔除了高密度（即高度抽取式）的摘要对，仅保留更具抽象性的样本，从而为探究模型在生成全新表述而非简单复制原文方面的表现提供了一个纯净的试验场。这一数据集尤其适用于对比不同摘要范式、验证抽象式生成算法的有效性，以及评估模型对原文语义的深层理解与重构能力。

解决学术问题

该数据集的核心贡献在于解决了学术研究中长期存在的摘要类型混杂问题。传统新闻摘要数据集常包含大量高度依赖原文词汇的抽取式摘要，使得模型在训练时倾向于学习复制粘贴策略，而非真正的语义压缩与重组。通过严格筛选低密度、高抽象性的样本，本数据集迫使研究者直面抽象式摘要的生成瓶颈，推动了诸如基于预训练语言模型的生成式摘要、可控文本简化以及忠实性评估等方向的发展。其意义在于为衡量模型的原创性表达与信息蒸馏能力提供了可靠基准，促进了摘要技术从模式匹配向语义理解的范式跃迁。

衍生相关工作

围绕此类过滤后的抽象式摘要数据集，学术界已衍生出一系列经典工作。例如，Aumiller等人（2023）的文本清洗工具直接启发了本数据集的构建流程，而Grusky等人（2018）的Newsroom原始数据集则为后续研究提供了基础资源。在此基础上，研究者进一步探索了基于对比学习的摘要生成方法、利用强化学习优化摘要多样性的策略，以及融合外部知识图谱增强摘要信息密度的架构。这些工作不仅验证了抽象式摘要数据集的独特价值，还催生了诸如SummaC、FactCC等专门评估摘要忠实性的基准，推动了整个自然语言生成领域方法论体系的完善。