ubaada/booksum-complete-cleaned

该数据集包含BookSum数据集中的书籍和章节摘要，与kmfoda/booksum数据集不同，它包含了书籍和章节的摘要，并且修正了一些不匹配的摘要，删除了不必要的列，并包含了最少的文本到摘要的行。每个文本行包含一个摘要数组。

This dataset contains book and chapter summaries sourced from the BookSum dataset. Unlike the kmfoda/booksum dataset, it includes both book-level and chapter-level summaries, fixes several mismatched summaries, removes unnecessary columns, and retains only the minimal number of text-to-summary rows. Each text line contains an array of summaries.

原始信息汇总

BookSum 摘要数据集

数据集概述

• 任务类别: 摘要生成、文本生成
• 语言: 英语
• 数据集名称: BookSum Summarization Dataset Clean
• 数据集大小: 1K<n<10K

配置信息

• 书籍配置:
  • 训练集: books/train.jsonl
  • 测试集: books/test.jsonl
  • 验证集: books/val.jsonl
• 章节配置:
  • 训练集: chapters/train.jsonl
  • 测试集: chapters/test.jsonl
  • 验证集: chapters/val.jsonl

数据集描述

• 包含书籍和章节摘要，与仅包含章节数据集的 kmfoda/booksum 不同。
• 修正了一些不匹配的摘要，删除了不必要的列，每行包含一个摘要数组。

数据集分布

• 章节数据集:
  • 训练集: 9712 个摘要，178 个缺失，9534 个成功处理（98.17%），5653 个章节
  • 测试集: 1432 个摘要，0 个缺失，1432 个成功处理（100.0%），950 个章节
  • 验证集: 1485 个摘要，0 个缺失，1485 个成功处理（100.0%），854 个章节
• 书籍数据集:
  • 训练集: 314 个摘要，0 个缺失，314 个成功处理（100.0%），151 本书
  • 测试集: 46 个摘要，0 个缺失，46 个成功处理（100.0%），17 本书
  • 验证集: 45 个摘要，0 个缺失，45 个成功处理（100.0%），19 本书

数据集结构

• 章节数据集:
  • bid: 书籍ID
  • book_title: 书名
  • chapter_id: 章节ID
  • text: 原始章节文本
  • summary: 不同来源的摘要列表
  • is_aggregate: 是否包含多个章节
• 书籍数据集:
  • bid: 书籍ID
  • title: 书名
  • text: 原始文本
  • summary: 不同来源的摘要列表

结果与比较

• 与 kmfoda/booksum 相比，在章节子数据集的测试分割上，R1/R2 分数略有提高，可能是由于对对齐文件中的不匹配进行了清理。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，长文本摘要任务长期面临数据稀缺的挑战。ubaada/booksum-complete-cleaned数据集正是为应对这一难题而生，它源自BookSum论文，专注于长篇小说级别的摘要。该数据集的构建经历了精心的清洗与对齐过程：不仅完整保留了书籍与章节两个层级的摘要数据，还纠正了原始数据中存在的摘要与文本不匹配问题，剔除了冗余列，并确保每行数据包含来自不同来源的摘要数组。最终，训练集、测试集与验证集的划分清晰，其中章节子集成功处理了超过98%的样本，书籍子集则实现了100%的成功率。

特点

该数据集最显著的特点在于其双重粒度结构，同时涵盖书籍整体摘要与章节级摘要，为研究不同粒度的长文本摘要提供了宝贵资源。每个文本条目均关联多个摘要来源，形成丰富的参考摘要数组，有效提升了模型评估的可靠性。此外，数据经过严格清洗，消除了错配与噪声，使得在测试集上的R1/R2评分相比同类数据集有所提升。数据集规模适中，章节子集包含近万条摘要，书籍子集则覆盖数百本图书，兼顾了实验效率与多样性。

使用方法

使用该数据集时，需确保安装2.14.0及以上版本的datasets库。通过load_dataset函数可分别加载书籍与章节两个配置，例如book_data = load_dataset('ubaada/booksum-complete-cleaned', 'books')。加载后，可通过索引访问原始文本与摘要列表，如book_data['train'][0]['text']获取首本书籍内容，book_data['train'][0]['summary'][0]['text']获取其第一条摘要。数据以JSONL格式存储，支持直接读取与批量处理，便于集成到各类摘要生成或文本生成模型的训练与评估流程中。

背景与挑战

背景概述

在自然语言处理领域，长文本摘要任务始终面临核心挑战：如何从海量叙事性文本中精准提取关键信息并生成连贯的概要。BookSum数据集于2021年由多位研究者联合提出，旨在填补长篇叙事文本摘要的数据空缺。该数据集以书籍与章节为粒度，涵盖多种体裁的英文文学作品，为评估模型对复杂情节、人物关系及主题演变的捕捉能力提供了标准化基准。ubaada/booksum-complete-cleaned版本由研究者对原始数据进行了系统性清洗，修正了对齐错误并剔除冗余列，显著提升了数据质量。该数据集推动了摘要模型从短文本向长文本的跨越，成为评估长序列生成能力的重要标杆，尤其在叙事结构保持与信息压缩的平衡方面具有深远影响。

当前挑战

该数据集当前面临多重挑战：首先，长文本摘要本身要求模型在数千词级别的输入中捕获核心叙事线索，而现有模型常因注意力分散或位置编码局限导致关键情节遗漏；其次，数据构建过程中需处理书籍与章节的多层次摘要对齐，原始数据中存在源文本与摘要不匹配的问题，尽管经过清洗，跨来源摘要（如不同标注者或自动生成）的一致性仍需验证；此外，书籍摘要的稀缺性（仅151本训练书籍）限制了模型对多样化文学风格的泛化能力；最后，多摘要源（如人工标注与机器生成）的融合策略尚未统一，如何选择或组合参考摘要以最大化评估可靠性仍是开放难题。

常用场景

经典使用场景

BookSum Complete Cleaned数据集专为长篇幅叙事性文本的自动摘要任务而设计，其核心应用场景在于探索如何从完整书籍或独立章节中生成忠实且连贯的摘要。该数据集提供了丰富的文本-摘要对，涵盖多种摘要来源，使得研究者能够训练和评估模型在复杂叙事结构上的抽象或抽取式摘要能力，尤其适用于处理远超传统模型输入长度限制的长文本。

衍生相关工作

基于该数据集衍生了一系列经典工作，包括利用预训练语言模型如BART和Longformer进行长文本摘要的微调与评估，以及探索分层次编码-解码架构以处理超长输入。此外，有研究借助其多摘要源特性，开发了基于对比学习的摘要质量判别模型，或将其作为基准，进一步提出基于叙事弧线的事件抽取与摘要生成联合框架，深刻影响了自然语言处理中对叙事结构的建模方向。

数据集最近研究

最新研究方向

在长文本摘要领域，BookSum数据集作为专门针对长篇叙事文本的摘要基准，近年来推动了生成式模型在书籍和章节级别摘要任务上的前沿探索。该数据集的清洗版本通过修正错配摘要并整合多源参考摘要，显著提升了评估的可靠性，成为研究长文档理解、多文档摘要融合以及摘要质量自动评估的关键资源。随着大语言模型在长上下文处理上的突破，基于BookSum的研究聚焦于如何利用结构化章节信息与全局书籍线索生成连贯且信息密集的摘要，同时探索摘要多样性、忠实度与抽象性之间的平衡。该数据集的出现不仅弥补了现有摘要基准在长文本上的空白，也为自动图书摘要、教育辅助内容生成等应用场景提供了标准化评测平台，推动了自然语言处理向更复杂叙事理解方向的演进。