jmaciejowski/multi_news_tokenized_pegasus_large

---
dataset_info:
features:
- name: document
dtype: string
- name: summary
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 851951820
num_examples: 44972
- name: validation
num_bytes: 104816611
num_examples: 5622
- name: test
num_bytes: 106588998
num_examples: 5622
download_size: 537120663
dataset_size: 1063357429
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

原始信息汇总

数据集概述

数据集特征

• document: 数据类型为字符串。
• summary: 数据类型为字符串。
• input_ids: 序列类型，数据类型为int32。
• attention_mask: 序列类型，数据类型为int8。
• labels: 序列类型，数据类型为int64。

数据集划分

• 训练集:
  • 样本数量: 44972
  • 数据大小: 851951820字节
• 验证集:
  • 样本数量: 5622
  • 数据大小: 104816611字节
• 测试集:
  • 样本数量: 5622
  • 数据大小: 106588998字节

数据集大小

• 下载大小: 537120663字节
• 总数据集大小: 1063357429字节

数据文件配置

• 配置名称: default
• 数据文件路径:
  • 训练集: data/train-*
  • 验证集: data/validation-*
  • 测试集: data/test-*