manueldeprada/multisource_tok_nobook

---
dataset_info:
features:
- name: text
dtype: string
- name: source
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 7104120334.486074
num_examples: 14907475
- name: test
num_bytes: 1087947.6655964435
num_examples: 2303
- name: validation
num_bytes: 1140553.189182514
num_examples: 2351
download_size: 5337569020
dataset_size: 7106348835.340853
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: validation
path: data/validation-*
---

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• source：字符串类型
• input_ids：序列类型，整数32位
• attention_mask：序列类型，整数8位

数据集划分

• 训练集：
  • 示例数量：14907475
  • 数据大小：7104120334.486074字节
• 测试集：
  • 示例数量：2303
  • 数据大小：1087947.6655964435字节
• 验证集：
  • 示例数量：2351
  • 数据大小：1140553.189182514字节

数据集大小

• 下载大小：5337569020字节
• 数据集总大小：7106348835.340853字节

数据文件配置

• 默认配置：
  • 训练集路径：data/train-*
  • 测试集路径：data/test-*
  • 验证集路径：data/validation-*