story-summeval

Story-SummEval数据集包含来自Gutenberg和Wikisource的故事摘要及其事实标签。这些摘要是通过多个模型生成的，数据集包含319个（摘要，标签）对。每个条目包括摘要、事实标签、原始故事文本的标识符和来源。故事文本可通过标识符在相应数据集中检索。

The Story-SummEval dataset comprises story summaries and their factual labels sourced from Gutenberg and Wikisource. These summaries are generated by multiple models, and the dataset contains 319 (summary, label) pairs in total. Each entry includes the summary, factual label, the identifier of the original story text, and its source. The original story text can be retrieved from the corresponding datasets via the identifier.

原始信息汇总

数据集卡片 for Story-SummEval

数据集描述

概述

该数据集包含来自Gutenberg和Wikisource的故事摘要及其事实标签。摘要由Scirè等人在2023年的论文《Echoes from Alexandria》中提供的多个模型生成。

组成

• (摘要, 标签)对的数量: 319
• 来源:
  • Gutenberg
  • Wikisource

数据集结构

每个条目包含以下内容：

• summary: 故事的摘要。
• label: 摘要的事实标签。
• text_id: 原始故事文本的标识符。
• source: 故事文本的来源（gutenberg 或 wikisource）。

获取故事文本的方法：

• 如果来源是gutenberg，将text_id值与manu/project_gutenberg数据集的en分区的id列匹配。
• 如果来源是wikisource，将text_id值与wikimedia/wikisource数据集的20231201.en分区的title列匹配。

引用信息

bibtex @inproceedings{scire-etal-2024-fenice, title = "FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction", author = "Scirè, Alessandro and Karim, Ghonim and Navigli, Roberto", booktitle = "Findings of the Association for Computational Linguistics: ACL 2024", month = aug, year = "2024", address = "Bangkok, Thailand", publisher = "Association for Computational Linguistics", }

搜集汇总

数据集介绍

构建方式

Story-SummEval数据集的构建基于Gutenberg和Wikisource平台上的故事文本，通过多种模型生成摘要，并标注其事实性标签。具体而言，研究团队从这些平台中选取了319个故事文本，利用Scirè等人（2023）提出的模型生成摘要，并通过自然语言推理（NLI）和声明提取技术对摘要的事实性进行评估，最终形成（摘要，标签）对。数据集的构建过程详细记录在ACL 2024的论文中，确保了数据的科学性和透明性。

特点

Story-SummEval数据集的核心特点在于其专注于摘要的事实性评估。数据集包含319个（摘要，标签）对，每个条目均包含摘要、事实性标签、原始文本标识符及来源信息。摘要来源于Gutenberg和Wikisource的故事文本，并通过多种模型生成，确保了摘要的多样性和代表性。事实性标签的标注基于NLI和声明提取技术，为研究摘要生成模型的事实性提供了高质量的数据支持。此外，数据集的结构清晰，便于用户快速定位原始文本，进一步增强了其实用性。

使用方法

使用Story-SummEval数据集时，用户可通过`text_id`字段匹配原始故事文本。若来源为Gutenberg，则需在`manu/project_gutenberg`数据集的'en'分割中查找对应的`id`字段；若来源为Wikisource，则需在`wikimedia/wikisource`数据集的'20231201.en'分割中查找对应的`title`字段。数据集的主要用途是评估摘要生成模型的事实性，用户可通过分析摘要与原始文本的一致性，验证模型生成摘要的准确性。此外，数据集还可用于训练和优化基于NLI和声明提取的事实性评估模型。

背景与挑战

背景概述

Story-SummEval数据集由Alessandro Scirè等人于2024年提出，旨在评估自动生成的故事摘要的事实性。该数据集基于Gutenberg和Wikisource平台上的故事文本，生成了319个摘要及其对应的事实性标签。研究团队通过自然语言推理（NLI）和声明提取技术，构建了一个用于评估摘要事实性的框架。该数据集不仅为自动摘要生成领域提供了新的评估标准，还为自然语言处理中的事实性验证问题提供了重要的数据支持。其研究成果发表于ACL 2024会议，标志着在摘要生成和事实性评估领域的进一步探索。

当前挑战

Story-SummEval数据集面临的挑战主要集中在两个方面。首先，摘要的事实性评估本身是一个复杂的任务，尤其是在处理长文本和复杂叙事结构时，如何准确捕捉摘要中的事实错误或偏差仍然是一个难题。其次，数据集的构建过程中，研究团队需要从Gutenberg和Wikisource等开放资源中提取故事文本，并确保生成的摘要具有多样性和代表性。此外，标注事实性标签的过程依赖于人工判断，这可能导致主观性和不一致性，从而影响数据集的可靠性。这些挑战不仅反映了当前自动摘要生成技术的局限性，也为未来的研究提供了改进方向。

常用场景

经典使用场景

Story-SummEval数据集在自然语言处理领域中被广泛用于评估文本摘要的准确性和事实性。该数据集包含了从Gutenberg和Wikisource中提取的故事摘要及其事实性标签，适用于训练和测试摘要生成模型。研究人员可以通过该数据集评估不同模型生成的摘要是否忠实于原文，从而推动摘要生成技术的发展。

衍生相关工作

Story-SummEval数据集的发布催生了一系列相关研究，尤其是在基于自然语言推理和声明提取的摘要事实性评估领域。例如，基于该数据集的研究工作进一步探索了如何利用自然语言推理技术来增强摘要生成模型的事实性检测能力。此外，该数据集还为其他相关领域的研究提供了数据支持，如文本生成、信息抽取和知识图谱构建等。

数据集最近研究

最新研究方向

在自然语言处理领域，故事摘要的生成与事实性评估正成为研究热点。Story-SummEval数据集通过结合Gutenberg和Wikisource的文本资源，提供了319个摘要及其事实性标签，为基于自然语言推理（NLI）和声明提取的摘要事实性评估提供了重要支持。该数据集的研究方向聚焦于提升摘要生成模型的事实性准确性，特别是在多源文本环境下，如何通过NLI技术有效识别和纠正摘要中的事实错误。这一研究不仅推动了摘要生成技术的发展，也为文本生成模型的可信度评估提供了新的方法论。