SNAC

SNAC是一个叙事连贯性评估框架，用于对长摘要进行细粒度标注。它包括一个基于摘要模型实际生成错误的连贯性错误分类法。该数据集包含了150个摘要的跨度级标注，涵盖3种模型大小（GPT3-175B, GPT3-6B, BART）和两个领域（书籍，电影剧本），总计9.6K个跨度级错误标注。SNAC is a narrative coherence evaluation framework designed for fine-grained annotation of long summaries. It includes a taxonomy of coherence errors based on actual generation mistakes made by summary models. This dataset contains span-level annotations for 150 summaries, covering three model sizes (GPT3-175B, GPT3-6B, BART) and two domains (books, movie scripts), totaling 9.6K span-level error annotations.

原始信息汇总

SNaC数据集概述

数据集名称

SNaC: Summary Narrative Coherence

数据集描述

SNAC是一个用于长篇摘要细粒度注释的叙事连贯性评估框架。该数据集包含150篇摘要的跨度级注释，涵盖3种模型大小（GPT3-175B, GPT3-6B, BART）和两个领域（书籍、电影剧本），总计9.6K跨度级错误注释。

数据集内容

• 注释类型：跨度级错误注释
• 模型大小：GPT3-175B, GPT3-6B, BART
• 领域：书籍、电影剧本
• 注释数量：9.6K

数据集下载

数据集可通过以下链接下载：SNaC数据集下载链接

数据集使用工具

可通过此在线工具浏览数据集：数据集在线浏览工具

训练模型

• 模型类型：T5模型
• 模型功能：自动检测生成摘要中的错误
• 模型配置：
  • T5 w/o span: 仅预测下一句话是否连贯（真/假）
  • T5 w/ span: 预测下一句话是否连贯（真/假），若为假，则进一步预测细粒度错误标签及错误跨度

模型运行

• 输入格式：.tsv文件，包含id, context, sentence三列

• 运行命令：

  python3 snac_evaluate.py --validation_file sample.tsv --model_name_or_path [model_path] --output_dir [output_dir]

• 输出格式：

  • 检测到连贯错误：false <label1> [spans for label1] <label2> [spans for label2]
  • 未检测到连贯错误：true

• 错误标签选项：character (CharE errors), event (RefE errors), scene (SceneE), inconsistent (InconE)

搜集汇总

数据集介绍

构建方式

SNAC数据集通过精细化的叙事连贯性评估框架构建，专注于长篇摘要的连贯性错误检测。研究团队基于实际生成的摘要模型错误，设计了一套连贯性错误分类体系。随后，通过人工注释的方式，对150篇摘要进行了跨模型（GPT3-175B、GPT3-6B、BART）和跨领域（书籍、电影剧本）的细粒度标注，最终生成了包含9.6K个跨度级别错误注释的数据集。

特点

SNAC数据集的显著特点在于其细粒度的错误分类和跨模型、跨领域的广泛覆盖。数据集不仅提供了连贯性错误的二元判断，还进一步细化了错误类型，包括角色错误（CharE）、事件错误（RefE）、场景错误（SceneE）和不一致错误（InconE）。此外，数据集的构建基于真实模型生成的错误，确保了其应用的实际价值和研究意义。

使用方法

SNAC数据集可用于训练和评估叙事摘要生成模型的连贯性检测能力。用户可通过提供的在线工具浏览数据集，或下载数据集进行本地分析。此外，研究团队还提供了预训练的T5模型，用户可通过snac_evaluate.py脚本对生成的摘要进行连贯性评估。脚本要求输入文件为.tsv格式，包含id、context和sentence三列，输出文件将详细列出每个句子的连贯性判断及错误类型。

背景与挑战

背景概述

SNAC（Summary Narrative Coherence）数据集由Tanya Goyal、Junyi Jessy Li和Greg Durrett于2022年提出，旨在解决叙事摘要中的连贯性错误检测问题。该数据集通过细粒度的注释框架，针对长篇摘要中的连贯性错误进行分类和标注，涵盖了从生成模型中实际产生的错误类型。研究团队在三个不同规模的模型（GPT3-175B、GPT3-6B、BART）和两个领域（书籍、电影剧本）中，收集了150篇摘要的9.6K个跨度级错误注释。SNAC的提出不仅为叙事摘要的自动评估提供了新的工具，还为相关领域的研究提供了丰富的数据资源，推动了自然语言处理在文本生成与评估方面的进展。

当前挑战

SNAC数据集的构建面临多重挑战。首先，叙事摘要中的连贯性错误检测需要对文本的深层语义和结构有深入理解，这对模型的复杂性和准确性提出了高要求。其次，跨度级注释的收集过程涉及大量人工工作，确保注释的一致性和准确性是一个耗时且复杂的过程。此外，不同模型和领域的数据分布差异也为模型的泛化能力带来了挑战。最后，如何在自动检测模型中有效结合细粒度错误标签和跨度信息，以提高检测的精确度和实用性，是该数据集应用中的关键问题。

常用场景

经典使用场景

SNAC数据集在叙事摘要的连贯性评估中展现了其经典应用场景。通过提供细粒度的连贯性错误注释，SNAC帮助研究者和开发者识别和修正生成摘要中的连贯性问题。特别是在处理长篇摘要时，SNAC能够有效捕捉到诸如角色、事件、场景和逻辑不一致等具体错误类型，从而提升摘要的质量和可读性。

实际应用

在实际应用中，SNAC数据集被广泛用于训练和评估自动摘要生成模型，特别是在新闻、文学和电影剧本等领域。通过使用SNAC，开发者可以构建更加智能的摘要系统，这些系统不仅能够生成信息丰富的摘要，还能确保文本的逻辑连贯性，从而提升用户体验。此外，SNAC还支持在线工具的使用，使得非专业用户也能方便地进行连贯性评估。

衍生相关工作

SNAC数据集的发布催生了一系列相关研究工作，特别是在自然语言处理和文本生成领域。许多研究者基于SNAC开发了新的模型和算法，用于自动检测和修正摘要中的连贯性错误。例如，T5模型在SNAC数据集上的训练和应用，展示了其在连贯性错误检测方面的潜力。此外，SNAC还启发了其他研究者探索更广泛的文本连贯性问题，推动了该领域的深入发展。