arthurmluz/GPTextSum_data-xlsum_temario_results

Name: arthurmluz/GPTextSum_data-xlsum_temario_results
Creator: arthurmluz
Published: 2023-11-15 04:10:51
License: 暂无描述

Hugging Face2023-11-15 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/arthurmluz/GPTextSum_data-xlsum_temario_results

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: id dtype: int64 - name: text dtype: string - name: summary dtype: string - name: gen_summary dtype: string - name: rouge struct: - name: rouge1 dtype: float64 - name: rouge2 dtype: float64 - name: rougeL dtype: float64 - name: rougeLsum dtype: float64 - name: bert struct: - name: f1 sequence: float64 - name: hashcode dtype: string - name: precision sequence: float64 - name: recall sequence: float64 - name: moverScore dtype: float64 splits: - name: validation num_bytes: 28964 num_examples: 20 download_size: 36328 dataset_size: 28964 configs: - config_name: default data_files: - split: validation path: data/validation-* --- # Dataset Card for "GPTextSum_data-xlsum_temario_results" rouge= {'rouge1': 0.41383134368121127, 'rouge2': 0.21155454924836806, 'rougeL': 0.32959975412911574, 'rougeLsum': 0.32959975412911574} bert= {'precision': 0.7497879922389984, 'recall': 0.7460619449615479, 'f1': 0.7474037945270539}

### 数据集信息 #### 特征字段 1. 字段名：`id`，数据类型：64位整数（int64） 2. 字段名：`text`，数据类型：字符串 3. 字段名：`summary`（参考摘要），数据类型：字符串 4. 字段名：`gen_summary`（生成式摘要），数据类型：字符串 5. 字段名：`rouge`（ROUGE指标，Recall-Oriented Understudy for Gisting Evaluation），为结构体字段，包含： - `rouge1`（ROUGE-1）：数据类型为64位浮点数 - `rouge2`（ROUGE-2）：数据类型为64位浮点数 - `rougeL`（ROUGE-L）：数据类型为64位浮点数 - `rougeLsum`（ROUGE-Lsum）：数据类型为64位浮点数 6. 字段名：`bert`（BERT模型，Bidirectional Encoder Representations from Transformers），为结构体字段，包含： - `f1`（F1值）：数据类型为64位浮点数序列 - `hashcode`（哈希码）：数据类型为字符串 - `precision`（精确率）：数据类型为64位浮点数序列 - `recall`（召回率）：数据类型为64位浮点数序列 7. 字段名：`moverScore`（MoverScore指标），数据类型为64位浮点数 #### 数据集划分 - 验证集：总字节数28964，样本量20 #### 基础参数下载大小：36328字节，数据集总大小：28964字节 #### 配置项 - 配置名称：默认配置，数据文件路径为`data/validation-*`，对应划分集为验证集 --- # 数据集卡片："GPTextSum_data-xlsum_temario_results" ## 指标结果 ROUGE指标结果：{"rouge1": 0.41383134368121127, "rouge2": 0.21155454924836806, "rougeL": 0.32959975412911574, "rougeLsum": 0.32959975412911574} BERT指标结果：{"precision": 0.7497879922389984, "recall": 0.7460619449615479, "f1": 0.7474037945270539}

提供机构：

arthurmluz

原始信息汇总

数据集概述

数据集信息

特征列表:
- id: 数据类型为 int64
- text: 数据类型为 string
- summary: 数据类型为 string
- gen_summary: 数据类型为 string
- rouge: 结构体，包含以下字段:
  - rouge1: 数据类型为 float64
  - rouge2: 数据类型为 float64
  - rougeL: 数据类型为 float64
  - rougeLsum: 数据类型为 float64
- bert: 结构体，包含以下字段:
  - f1: 数据类型为 float64 的序列
  - hashcode: 数据类型为 string
  - precision: 数据类型为 float64 的序列
  - recall: 数据类型为 float64 的序列
- moverScore: 数据类型为 float64
数据分割:
- validation: 包含 20 个样本，总字节数为 28964
数据集大小:
- 下载大小: 36328 字节
- 数据集大小: 28964 字节

配置信息

默认配置:
- 数据文件路径: data/validation-*

搜集汇总

数据集介绍

构建方式

该数据集名为arthurmluz/GPTextSum_data-xlsum_temario_results，是在XL-Sum数据集基础上，结合Temario模型进行文本摘要生成后构建而成的评估性资源。构建过程首先从原始数据中提取文本与对应的参考摘要，随后利用生成模型产出机器摘要，并系统计算了ROUGE系列指标（包括rouge1、rouge2、rougeL、rougeLsum）、BERTScore（涵盖精确率、召回率与F1值）以及MoverScore等多维度自动评估分数。最终将原始文本、参考摘要、生成摘要及各项评分指标整合为结构化记录，形成包含20个验证样本的精炼数据集。

使用方法

该数据集主要适用于文本摘要模型的性能评估与对比研究。使用者可加载验证集后，通过访问'gen_summary'字段获取模型输出，并利用预置的'rouge'、'bert'和'moverScore'字段直接分析生成摘要的质量。由于数据已包含多项自动评分，研究者无需额外计算，即可快速定位模型在词汇匹配、语义保持等方面的优劣。同时，该数据集也可作为微调训练中的验证基准，或用于探索不同评估指标之间的相关性，从而指导摘要生成算法的优化方向。

背景与挑战

背景概述

文本自动摘要作为自然语言处理领域的核心任务，旨在从冗长文档中凝练关键信息，其研究可追溯至20世纪50年代。由研究人员Arthur MLuz等人构建的GPTextSum_data-xlsum_temario_results数据集，基于XL-Sum这一大规模多语言摘要基准进行扩展与评估，于近年发布以探索生成式摘要的自动评价指标。该数据集聚焦于葡萄牙语文本，包含20条验证样本，每条样本提供原文、参考摘要及模型生成摘要，并附有ROUGE、BERTScore与MoverScore等多元自动评估分数。其核心研究问题在于衡量生成摘要与人类撰写摘要之间的语义与词汇重合度，从而推动低资源语言摘要系统的优化。尽管规模有限，该数据集为葡萄牙语摘要任务的标准化评估提供了重要参照，对多语言自然语言处理领域具有示范意义。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：文本摘要任务长期受困于自动评价指标与人类判断之间的偏差，ROUGE仅关注词汇重叠而忽略语义等价性，BERTScore虽引入上下文表征但难以捕捉深层逻辑一致性，MoverScore则面临计算复杂度高的问题，三者组合仍无法完全替代人工评估。在构建过程中，数据集仅包含20条验证样本，这一微小规模可能导致评估结果的统计显著性不足，难以泛化至真实场景；同时，生成摘要的质量依赖于底层模型的性能，而模型生成结果与参考摘要间的差异可能引入评价偏差。此外，葡萄牙语作为低资源语言，其句法结构复杂性及领域多样性未被充分覆盖，进一步限制了数据集的鲁棒性与适用性。

常用场景

经典使用场景

GPTextSum_data-xlsum_temario_results数据集专为文本摘要任务中的模型评估与对比而设计，其核心应用场景在于验证生成式摘要算法的性能。该数据集整合了原始文本、人工参考摘要及模型生成的摘要，并提供了ROUGE、BERTScore和MoverScore等多维度自动评估指标，使得研究者能够在统一基准上客观衡量不同摘要模型的语义忠实度与信息覆盖能力。这种结构化评估框架尤其适用于探究大型语言模型在摘要任务中的表现边界，成为自然语言处理领域进行模型消融实验与跨模型比较的经典平台。

解决学术问题

该数据集有效解决了文本摘要研究中评估标准不统一、人工评价成本高昂的学术困境。通过提供标准化的参考摘要与自动化评分指标，它使得研究者能够系统性地分析模型在ROUGE-1、ROUGE-2、ROUGE-L及BERTScore等维度上的表现差异，进而揭示模型在关键信息捕捉、语言流畅度及语义相似性方面的优劣。这一资源推动了摘要生成技术的可重复性研究，为探索更优的损失函数、解码策略以及预训练模型适配方法奠定了实证基础，极大促进了文本生成领域的科学进步。

实际应用

在实际应用中，该数据集支撑了新闻聚合、文档摘要生成及智能助手等领域的算法优化与部署。企业可利用其评估指标快速筛选适合特定业务场景的摘要模型，例如在金融报告自动化摘要或法律文书精简中，通过对比ROUGE与BERTScore得分选择信息压缩最精准的模型。此外，数据集中的生成摘要与评估结果可直接用于反馈驱动模型微调，帮助提升产品在实时信息摘要、多语言内容提炼等场景下的服务质量，降低了从学术研究到工业落地的技术转化壁垒。

数据集最近研究