navjordj/VG_summarization

VG Summarization Dataset数据集来源于Norsk Aviskorpus（挪威报纸语料库），包含1998年至2019年挪威最大报纸的文章。数据集中使用每篇文章的第一段作为摘要，且仅包含挪威报纸VG的文章。数据集的任务类别包括摘要生成和文本到文本生成，语言为挪威语（no和nb），规模在10万到100万之间。数据集的特征包括标题、URL、发布日期、类别、文章、导语和一个索引列。数据集分为训练集、验证集和测试集，分别包含157038、11821和18763个样本。数据集的下载大小为364433583字节，数据集大小为576305100.0字节。

原始信息汇总

VG Summarization Dataset

数据集概述

• 任务类别: 摘要生成、文本到文本生成
• 语言: 挪威语（no、nb）
• 数据集大小: 100K<n<1M

数据集信息

特征

• title: 字符串类型
• url: 字符串类型
• published: 字符串类型
• classes: 字符串类型
• article: 字符串类型
• ingress: 字符串类型
• index_level_0: 整数类型

数据分割

• train:
  • 字节数: 482362411.09144986
  • 样本数: 157038
• validation:
  • 字节数: 36309721.60567524
  • 样本数: 11821
• test:
  • 字节数: 57632967.30287493
  • 样本数: 18763

数据集大小

• 下载大小: 364433583
• 数据集大小: 576305100.0

数据集来源

• 数据集来源: Norsk Aviskorpus（挪威报纸语料库）
• 包含文章: 挪威最大报纸1998年至2019年的文章
• 摘要方式: 使用每篇文章的第一段（lead）作为其摘要
• 包含报纸: 仅包含挪威报纸"VG"的文章

数据质量

• 摘要-文章对的品质未经过评估