achandlr/FactualConsistencyScoresTextSummarization

该数据集汇总了多个摘要数据集中模型评估事实一致性的评分，旨在突出当前SOTA事实一致性模型在评估文本摘要事实性时的阈值问题。数据集包含多个列，分别表示不同事实一致性模型的评分，以及关于摘要和源文章的元数据。数据集还包含了多个子数据集，如AggreFact、HaluEval和TofuEval，这些子数据集用于测试模型在不同情境下识别事实不一致性的能力。

This dataset aggregates scores for evaluating the factual consistency of models across multiple summarization datasets, aiming to highlight the threshold issues faced by current state-of-the-art (SOTA) factual consistency models when assessing the factuality of text summaries. The dataset includes multiple columns, which respectively represent the scores of different factual consistency models, as well as metadata related to the summaries and their source articles. The dataset also contains several sub-datasets such as AggreFact, HaluEval, and TofuEval, which are used to test the ability of models to identify factual inconsistencies across different scenarios.

原始信息汇总

数据集概述

• 名称: Factual Consistency Scores for Text Summarization
• 许可证: MIT
• 语言: 英语
• 任务类别: 摘要生成、文本分类
• 标签: 事实一致性、幻觉、错误、摘要生成
• 大小: 10K<n<100K

数据集描述

该数据集汇总了多个摘要生成数据集的模型评分，旨在突出当前SOTA事实一致性模型在评估文本摘要事实性时的阈值问题。

数据集结构

• 关键列:
  • context_origin: 原始文本或上下文
  • unique_id: 唯一标识符
  • AlignScore_NLI_SP, SummaC-Conv-MNLI, SummaC-ZS_MNLI, QAFactEval, QuestEval, DAE: 来自六个不同事实一致性模型的评分
  • summary: 摘要文本
  • label: 地面实况标签，指示摘要是否事实一致
  • dataset_name, model_name, context, cut, dataset, evaluation_type, benchmark_origin: 提供摘要任务和注释上下文的附加元数据

包含的数据集

• AggreFact FTSOTA: 测试模型识别摘要中事实不一致的能力，结合了九个现有的事实性注释数据集。
• HaluEval: 评估LLMs中的幻觉，专注于摘要子集。
• TofuEval: 主题聚焦的对话摘要基准，专注于主要主题摘要的事实一致性注释。

数据集特征

• 数据类型:
  • unique_id, context, summary, label, dataset_name, benchmark_origin, context_origin, model_name, cut, evaluation_type: 字符串
  • AlignScore_NLI_SP, SummaC-ZS_MNLI, SummaC-Conv-MNLI, QAFactEval, QuestEval: 浮点数
  • idx: 整数

数据集分割

• 训练集: 21869个示例，数据大小为94637399字节，下载大小为53799049字节。